[發明專利]一種基于局部信息加權機制的三維模型重建方法

有效

• 申請號: 202011270682.X
• 申請日: 2020-11-13
• 公開（公告）號: CN112785684B
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 冷彪;楊量
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06N3/04;G06N3/08
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 張乾楨

1.一種基于局部信息加權機制的三維模型重建方法，其特征在于，包括以下步驟：

步驟一：利用主干網絡對輸入圖片進行特征提取，得到二維圖像特征；

步驟二：將步驟一中得到的二維圖像特征轉換為三維特征；

步驟三：利用基于注意力機制的分支網絡生成能夠衡量二維特征局部信息重要程度的權重分布圖；

步驟四：將步驟三得到的權重分布圖作用于主干網絡中提取到的二維圖像特征，進而得到局部信息經過篩選后的二維強化特征；

步驟五：將步驟四得到的二維強化特征進行維度轉換操作，生成三維強化特征，之后與主干網絡合并生成最終的三維體素模型預測結果。

2.根據權利要求1所述的一種基于局部信息加權機制的三維模型重建方法，其特征在于：所述步驟一中，具體如下：

使用經過改良的3D-R2N2網絡作為主干網絡對待預測圖片進行圖像特征提取，所述經過改良的3D-R2N2網絡包括二維圖像特征提取部分與三維模型特征提取部分，二維圖像特征提取部分包含6個卷積模塊，并采用池化操作的方式對特征的尺寸進行縮減；圖像I輸入到所述經過改良的3D-R2N2網絡后會在二維圖像特征提取過程中產生很多不同尺寸的特征圖，將尺寸最小、經歷卷積操作次數最多的特征F作為二維圖像特征提取部分的最終輸出，F的通道數為512，尺寸為輸入圖像尺寸的1/32。

3.根據權利要求1所述的一種基于局部信息加權機制的三維模型重建方法，其特征在于：所述步驟二中，二維圖像特征轉換為三維特征的特征維度轉換過程如下：

步驟一中得到的特征F是一個二維特征，在進行特征維度轉化時首先將F通過矩陣壓縮操作變換為一個一維特征向量，之后經過兩個全鏈接操作對一維特征向量進行進一步的信息提取，最后再通過矩陣尺寸重組操作將一維特征調整為三維特征，并將轉換后的三維特征輸入到主干網絡的三維模型特征提取部分，利用4層3D卷積模塊進行特征提取，同時利用反池化操作對三維特征的尺寸進行放大，最終生成相應尺寸的三維特征。

4.根據權利要求1所述的一種基于局部信息加權機制的三維模型重建方法，其特征在于：所述步驟三中，分支網絡的運作過程如下：

所述的分支網絡包括由8個2D卷積層所組成，用于對主干網絡中二維特征的重要局部信息進行強化和篩選，該分支網絡對輸入圖像I進行編碼并生成一個表示圖像各區域局部信息敏感度的矩陣M＝{m₁，m₂，...，m_k}，k表示區域的數量，之后將M轉換為表示圖像各區域局部信息重要程度的權重分布圖A＝{a₁，a₂，...，a_k}，實現過程如下式所示：

其中m_i表示特征圖中每個區域對于局部信息的敏感度值，a_i表示權重度分布圖中每個區域所代表的局部信息重要性權重。

5.根據權利要求1所述的一種基于局部信息加權機制的三維模型重建方法，其特征在于：所述步驟四中，局部信息加權過程如下：

將步驟三計算得到的權重分布圖A作用于主干網絡中的二維圖像特征F_m，進而得到重要局部信息得到增強的特征，即強化特征F’，實現過程如下式：

F’＝F_m⊙A

上式中F’即為經過局部信息篩選后的二維特征，⊙代表點積，經過權重分布圖A的加權后，F’中對模型重建貢獻較大的局部信息區域得到了增強。

6.根據權利要求1所述的一種基于局部信息加權機制的三維模型重建方法，其特征在于：所述步驟五中，主干網絡與分支網絡的合并過程如下：

將步驟四中得到的強化特征F’按照步驟二中的維度轉換方法轉換為三維強化特征G’，并將G’與主干網絡三維模型特征提取部分尺寸相對應的三維特征G相結合，進而對一些包含的局部信息更為重要的區域進行強化，生成包含的局部特征更全面更精確的三維特征，最后通過sigmoid函數操作生成最終的體素模型V；

實現過程如下：

V＝sigmoid(G+G’)

其中sigmoid為sigmoid運算函數，V為最終預測的三維體素模型，G為主干網絡生成的三維特征，G’為分支網絡生成的三維強化特征。