[發(fā)明專利]一種三維多視圖共變表征學習方法及三維物體識別方法

在審

• 申請?zhí)枺?/td>: 202110006861.0
• 申請日: 2021-01-05
• 公開（公告）號: CN112733698A
• 公開（公告）日: 2021-04-30
• 發(fā)明（設計）人: 胡瑋;高翔;郭宗明
• 申請（專利權）人: 北京大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京君尚知識產(chǎn)權代理有限公司 11200
• 代理人: 司立彬

1.一種三維多視圖共變表征學習方法，其步驟包括：

1)選取一基于多視圖的深度神經(jīng)網(wǎng)絡，該深度神經(jīng)網(wǎng)絡的損失函數(shù)為l_task；將損失函數(shù)添加到該深度神經(jīng)網(wǎng)絡中，表示估計的變換與真實的變換t的均方誤差；

2)通過最小化損失函數(shù)l_task的加權和來端到端訓練步驟1)處理后的深度神經(jīng)網(wǎng)絡；其中在每次迭代訓練中，從三維模型數(shù)據(jù)集中隨機采樣一個三維模型M，然后從設定三維變換分布中采樣一個三維變換t并施加到該三維模型M上，得到變換后的三維模型將三維模型M按照設定投影函數(shù)投影為m個視圖，得到視圖集合將三維模型按該設定投影函數(shù)投影為m個視圖，得到視圖集合其中視圖集合中的第i個視圖f_i，t為與三維變換t共變的二維變換，V_i為該三維模型M在變換前的第i個視圖，V_i和是沿相同視點i的投影；然后通過設置的學習模塊E分別提取V_i、的共變表征得到E(V_i)和然后將各對變換前后視圖的共變表征輸入融合模塊中進行拼接，得到該三維模型M的變換前后整體特征表示，然后將該三維模型M的變換前后整體特征表示輸入到變換解碼模塊D(·)中，估計出三維變換根據(jù)變換前各視圖的共變表征得到該三維模型M的整體特征表示并將輸入到任務分類器T(·)，對該三維模型M進行識別；迭代訓練直至使該學習模塊E滿足變換共變性，即滿足其中ρ(t)表示在特征空間中t的同態(tài)變換；

3)對于一目標三維模型，按該設定投影函數(shù)投影得到多個視圖并輸入訓練后的學習模塊E進行特征提取，得到該目標三維模型的三維多視圖共變表征。

2.如權利要求1所述的方法，其特征在于，通過訓練步驟1)處理后的深度神經(jīng)網(wǎng)絡；其中，Θ為深度神經(jīng)網(wǎng)絡的學習參數(shù)，λ是權重參數(shù)，表示求解在所有采樣的變換下的期望，表示求解在所有訓練數(shù)據(jù)下的期望。

3.如權利要求1所述的方法，其特征在于，該變換解碼模塊D(·)包括多個全連接層，各所述全連接層通過聚合拼接后的多個視圖的特征表示來預測得到三維變換

4.如權利要求1或2或3所述的方法，其特征在于，該變換解碼模塊D(·)通過預測得到三維變換其中F(·)是特征融合的函數(shù)。

5.如權利要求1或2或3所述的方法，其特征在于，該變換解碼模塊D(·)通過預測得到三維變換其中為第i個視圖的變換估計值。

6.如權利要求1所述的方法，其特征在于，該學習模塊E為一具有共享權重的編碼器網(wǎng)絡。

7.一種三維物體識別方法，其步驟包括：

1)選取一基于多視圖的深度神經(jīng)網(wǎng)絡，該深度神經(jīng)網(wǎng)絡的損失函數(shù)為l_task；將損失函數(shù)添加到該深度神經(jīng)網(wǎng)絡中，表示估計的變換與真實的變換t的均方誤差；

2)通過最小化損失函數(shù)l_task的加權和來端到端訓練步驟1)處理后的深度神經(jīng)網(wǎng)絡；其中在每次迭代訓練中，從三維模型數(shù)據(jù)集中隨機采樣一個三維模型M，然后從設定三維變換分布中采樣一個三維變換t并施加到該三維模型M上，得到變換后的三維模型將三維模型M按照設定投影函數(shù)投影為m個視圖，得到視圖集合將三維模型按該設定投影函數(shù)投影為m個視圖，得到視圖集合其中視圖集合中的第i個視圖f_i，t為與三維變換t共變的二維變換，V_i為該三維模型M在變換前的第i個視圖，V_i和是沿相同視點i的投影；然后通過設置的學習模塊E分別提取V_i、的共變表征得到E(V_i)和然后將各對變換前后視圖的共變表征輸入融合模塊中進行拼接，得到該三維模型M的變換前后整體特征表示，然后將該三維模型M的變換前后整體特征表示輸入到變換解碼模塊D(·)中，估計出三維變換根據(jù)變換前各視圖的共變表征得到該三維模型M的整體特征表示并將輸入到任務分類器T(·)，對該三維模型M進行識別；迭代訓練直至使該學習模塊E滿足變換共變性，即滿足其中ρ(t)表示在特征空間中t的同態(tài)變換；

3)對于一待識別物體，按該設定投影函數(shù)對其進行投影得到多個視圖并輸入訓練后的學習模塊E進行特征提取，得到該待識別物體的三維多視圖共變表征并將其輸入到訓練后的任務分類器T(·)中，對該待識別物體進行識別。