[發明專利]一種基于RGB數據的單視角和多視角三維重建方法及裝置

在審

• 申請號: 202011281969.2
• 申請日: 2020-11-17
• 公開（公告）號: CN112365581A
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 孔德慧;高俊娜;王少帆;李敬華;王立春
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T17/00
• 分類號: G06T17/00
• 代理公司: 北京市中聞律師事務所 11388
• 代理人: 馮夢洪

1.一種基于RGB數據的單視角和多視角三維重建方法，其特征在于：該方法包括以下步驟：

(1)融合輸入視角的個性化特征和其所屬類別的共性化特征，重建得到初始化的三維體素；

(2)在初始化的三維體素基礎上，利用體素在特定視角下的先驗對稱性和本身具有的內部上下文依賴關系指導體素注意力圖結構的構建，基于體素注意力圖結構，利用多尺度圖卷積對初始體素進行細化處理。

2.一種基于RGB數據的單視角和多視角三維重建裝置，其特征在于：其包括：

三維體素重建模塊，其融合輸入視角的個性化特征和其所屬類別的共性化特征，重建得到初始化的三維體素；

體素精細化模塊，其在初始化的三維體素基礎上，利用體素在特定視角下的先驗對稱性和本身具有的內部上下文依賴關系指導體素注意力圖結構的構建，基于體素注意力圖結構，利用多尺度圖卷積對初始體素進行細化處理。

3.根據權利要求2所述的基于RGB數據的單視角和多視角三維重建裝置，其特征在于：所述三維體素重建模塊包括兩個編碼-解碼網絡，一個融合模塊；

其中第一編碼-解碼網絡中的編碼器E_Com從圖像中學習潛在特征，并對其進行分類處理以獲得屬于特定類別的共性特征，送入第一編碼-解碼網絡中的解碼器D_Com重建出共性粗糙三維體素；第二編碼-解碼網絡中的編碼器E_Ind-解碼器D_Ind提取輸入圖像的個性化潛在特征并解碼生成個性初始三維體素；融合模塊利用基于個性-共性的上下文感知融合模塊得到融合的初始三維體素。

4.根據權利要求3所述的基于RGB數據的單視角和多視角三維重建裝置，其特征在于：所述第一編碼-解碼網絡中，對于n個視角的輸入圖像經過E_Com得到潛在變量分類該潛在變量到它所屬的類別c_j中，其分類損失為公式(1)：

其中p_k表示真實的類別，q_k表示預測的類別；然后將潛在特征送入解碼器D_Com得到重建的

5.根據權利要求4所述的基于RGB數據的單視角和多視角三維重建裝置，其特征在于：所述第二編碼-解碼網絡中，將輸入圖像經過E_Ind得到潛在特征z_i表示第i個視角的個性潛在特征，后將其送入解碼器D_Ind得到重建的個性初始三維體素

6.根據權利要求5所述的基于RGB數據的單視角和多視角三維重建裝置，其特征在于：所述融合模塊中，分別通過共性和個性的上下文打分網絡對和對打分，得到和然后將體素和相應的分數相乘再進行融合得到融合后的三維體素

為了評估重建的體素，在重建的三維體素與真實的三維體素之間采用基于體素的二值交叉熵的平均值進行度量，定義為公式(2)：

其中N表示三維物體中體素的數量，p_i和gt_i代表預測體素的占用率和相應的真實體素的占用率。

7.根據權利要求6所述的基于RGB數據的單視角和多視角三維重建裝置，其特征在于：所述體素精細化模塊中，

使用圖卷積公式：

其中σ表示激活函數，X^l和X^l+1分別表示圖中節點在l層前后的特征矩陣，表示可學習的權重矩陣，表示圖中對稱的歸一化鄰接矩陣,

其中表示對角節點度矩陣，定義每個節點使用其他節點特征的程度，A∈[0,1]^K×K表示圖的鄰接矩陣，當兩邊之間有連接關系將其置為1，否則置為0。