[發明專利]一種基于局部信息加權機制的三維模型重建方法

有效

• 申請號: 202011270682.X
• 申請日: 2020-11-13
• 公開（公告）號: CN112785684B
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 冷彪;楊量
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06N3/04;G06N3/08
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 張乾楨

本發明涉及一種基于局部信息加權機制的三維模型重建方法，包括以下步驟：步驟一：利用主干網絡對輸入圖片進行特征提取，得到二維圖像特征；步驟二：將步驟一中得到的二維圖像特征轉換為三維特征；步驟三：利用基于注意力機制的分支網絡生成能夠衡量二維特征局部信息重要程度的權重分布圖；步驟四：將步驟三得到的權重分布圖作用于主干網絡中提取到的二維圖像特征，進而得到局部信息經過篩選后的二維強化特征；步驟五：將步驟四得到的二維強化特征進行維度轉換操作，生成三維強化特征，之后與主干網絡合并生成最終的三維體素模型預測結果。

技術領域

本發明涉及一種基于局部信息加權機制的三維模型重建方法，屬于深度學習以及計算機視覺領域。

背景技術

基于視圖的三維模型重建技術是計算機視覺的一項基本技術，即根據物體的2D視圖重建出物體的三維模型，作為環境感知的關鍵技術，其在智慧城市、3D打印、虛擬現實、運動目標檢測、行為分析等領域有著廣闊的應用前景。

基于視圖的三維模型重建技術可分為傳統的三維模型重建方法和基于深度學習的三維模型重建方法，傳統的三維模型重建技術主要通過像素點的亮度變化和視差等幾何信息來重建三維模型結構，大致分為紋理推導法、運動法和輪廓法。而基于深度學習的重建技術則利用圖像信息直接進行三維模型的重建，更符合人類的視覺分析模式。近些年來，深度學習技術在圖像處理領域的快速發展極大地提升了計算機對于圖像信息的獲取能力，進而也提升了基于視圖所重建出的三維模型的準確度。將深度學習技術用于基于圖像的三維模型重建任務中使重建效果得到了極大的提升。對于利用深度學習方法的三維模型重建技術而言，三維物體的表示形式至關重要，目前常用的三維模型表示模型有以下三種：點云模型、面片模型和體素模型，針對不同表示形式的三維模型其對應的神經網絡模型和重建策略也是不同的。基于深度學習的三維模型重建網絡往往采用編碼-解碼形式，將特征提取過程分為對二維圖像信息的提取與三維幾何特征的提取兩個部分，并用一種空間轉化操作將兩個過程進行銜接，進而得到最終的三維模型預測結果。

但是上述現有三維模型重建方法，對二維圖像信息提取不充分導致局部信息丟失進而容易造成預測模型細節缺失。

發明內容

本發明的技術解決問題是：克服現有三維模型重建方法因對二維圖像信息提取不充分導致局部信息丟失進而造成預測模型細節缺失的問題，提供一種雙分支網絡結構可以對二維圖像特征進行更為充分的利用進而預測出更精確的三維體素模型。

本發明的技術方案為：一種基于局部信息加權機制的三維模型重建方法，網絡結構包含兩個子網絡，主干網絡利用編碼器-解碼器網絡結構生成粗略的三維特征，分支網絡對主干網絡中各層級二維圖像特征進行提取和篩選，將篩選出的局部信息以三維特征的形式和主干網絡結合，進而形成更精確的三維體素模型預測結果。

本發設計的算法應用深度神經網絡，是一種基于局部信息加權機制的三維體素模型重建方法，步驟如下：

步驟一：利用主干網絡提取圖像特征

使用經過改良的3D-R2N2網絡結構作為主干網絡對待預測圖片進行圖像特征提取，3D-R2N2網絡由二維圖像特征提取與三維模型特征提取兩個部分組成，二維圖像特征提取部分包含6個卷積模塊，并采用池化操作的方式對特征的尺寸進行縮減。圖像I輸入到網絡后會在二維圖像特征提取過程中產生很多不同尺寸的特征圖，我們將尺寸最小、經歷卷積操作次數最多的特征圖F作為二維圖像特征提取部分的最終輸出，F的通道數為512，尺寸為輸入圖像尺寸的1/32。

步驟二：將二維圖像特征轉換為三維模型特征

步驟一中得到的特征F是一個二維特征，在進行特征維度轉化時首先將F通過矩陣壓縮操作變換為一個一維特征，之后經過兩個全鏈接操作對一維特征進行進一步的信息提取，最后再通過矩陣尺寸重組操作將一維特征調整為三維特征，并將轉換后的三維特征輸入到主干網絡的三維模型特征提取部分，利用4層3D卷積模塊進行特征提取，同時利用反池化操作對三維特征的尺寸進行放大，最終生成相應尺寸的三維特征。