[發明專利]一種基于深度學習的上下文感知多視圖三維重建系統及其方法

在審

• 申請號: 202011371766.2
• 申請日: 2020-11-30
• 公開（公告）號: CN112489217A
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 白素琴;史金龍;喬亞茹;錢強;茅凌波;束鑫;歐鎮;田朝暉
• 申請（專利權）人: 江蘇科技大學
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06N3/08;G06N3/04
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 徐澍

1.一種基于深度學習的上下文感知多視圖三維重建系統，其特征在于，包括：

編碼器，即共享參數編碼器，用于根據n個輸入圖像生成n個特征圖；

解碼器，即共享參數解碼器，用于將每個特征圖作為輸入，重建n個初始的三維形狀；

上下文感知融合模塊，用于將初始的三維形狀作為輸入，并自適應地選擇每個初始三維形狀的質量較高的重建部分進行融合，獲得融合的三維形狀；

精化器，用于將融合的三維形狀作為輸入，進一步更正重建的錯誤部分，進而重建出最終的三維形狀；

網絡損失函數，被定義為重建的三維形狀和基準三維形狀之間的體素級二元交叉熵的均值，包括在初始的三維形狀、最終的三維形狀下分別定義的兩個損失函數Loss1和Loss2。

2.一種基于深度學習的上下文感知多視圖三維重建方法，其特征在于：

采用一種基于深度學習的上下文感知多視圖三維重建系統，包括編碼器、解碼器、上下文融合模塊、精化器、網絡損失函數；

所述方法包括：

根據多個RGB圖像重建對象的三維形狀；對象的三維形狀用三維體素網格表示：空單元格用0表示，被占單元格用1表示；

所述的編碼器，即共享參數編碼器，根據n個輸入圖像，生成n個特征圖；

所述的解碼器，即共享參數解碼器，以每個特征圖作為輸入，重建n個初始的三維形狀；

所述的上下文感知融合模塊，根據初始的三維形狀，自適應地選擇每個初始三維形狀的質量較高的重建部分，并進行融合獲得融合的三維形狀；

所述的精化器，對融合后的三維形狀進行細化，重建出最終的三維形狀；

所述的網絡損失函數，定義為重建的三維形狀和基準三維形狀之間的體素級二元交叉熵的均值。

3.根據權利要求2所述的一種基于深度學習的上下文感知多視圖三維重建方法，其特征在于：所述的編碼器計算輸入圖像的一組低維度特征，從而恢復物體的三維形狀；將所述的編碼器設置為：包括11個二維卷積層，卷積層記作conv2D，前10個卷積層的卷積核大小是3²，最后一個卷積層的卷積核是1²；11個二維卷積層的輸出通道數分別是64，64，128，128，256，256，256，512，512，512，256；在第2、4、7、10個卷積層后面設置最大池化層即Max Pool層，池化層中核的大小分別是2²，2²，2²，3²；編碼器最終輸出2048*2³維的特征向量。

4.根據權利要求2所述的一種基于深度學習的上下文感知多視圖三維重建方法，其特征在于,所述的解碼器將2048*2³維特征向量的信息轉換為三維形狀；將所述的解碼器設置為：包括五個三維轉置卷積層：前四個轉置卷積層的內核尺寸為4³，步幅stride為2，填充padding為1；最后一個轉置卷積層的內核尺寸是1³；四個轉置卷積層后設置一個批量歸一化層即BN層和一個ReLU激活函數，最后的轉置卷積層后設置一個sigmoid函數；五個轉置卷積層的輸出通道數分別為512、128、32、8和1；所述的解碼器輸出一個分辨率為32³的體素化三維形狀。