[發明專利]三維重建方法、裝置、計算機設備和存儲介質

在審

• 申請號: 202011407052.2
• 申請日: 2020-12-04
• 公開（公告）號: CN112581597A
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 曹逸塵
• 申請（專利權）人: 上海眼控科技股份有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/00;G06N3/04;G06N3/08
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 史治法

1.一種三維重建方法，其特征在于，所述方法包括：

獲取目標二維圖像；所述目標二維圖像包括待進行三維重建的目標對象；

將所述目標二維圖像輸入到預先訓練的目標神經網絡中，得到所述目標神經網絡輸出的重建結果；所述重建結果包括所述目標對象的三維點云數據；

其中，所述目標神經網絡為基于樣本二維圖像、樣本渲染圖像和樣本點云數據進行神經網絡訓練得到的。

2.根據權利要求1所述的方法，其特征在于，在所述將所述目標二維圖像輸入到預先訓練的目標神經網絡中，得到所述目標神經網絡輸出的重建結果之前，所述方法還包括：

獲取訓練樣本集合；所述訓練樣本集合包括多個樣本二維圖像、多個樣本渲染圖像和各所述樣本渲染圖像對應的樣本點云數據；所述樣本二維圖像中包括訓練對象；

將所述樣本二維圖像、所述樣本渲染圖像和所述樣本渲染圖像對應的樣本點云數據輸入到待訓練的神經網絡中，得到所述待訓練的神經網絡輸出的訓練結果；所述訓練結果包括所述訓練對象的三維點云數據；

基于所述訓練結果進行神經網絡的訓練，得到所述目標神經網絡。

3.根據權利要求2所述的方法，其特征在于，所述待訓練的神經網絡包括編碼子網絡、判決子網絡和解碼子網絡；所述將所述樣本二維圖像、所述樣本渲染圖像和所述樣本渲染圖像對應的樣本點云數據輸入到待訓練的神經網絡中，得到所述待訓練的神經網絡輸出的訓練結果，包括：

將所述樣本二維圖像、所述樣本渲染圖像和所述樣本渲染圖像對應的樣本點云數據輸入到所述編碼子網絡中進行維度變換，得到所述編碼子網絡輸出的所述樣本二維圖像對應的第一隱空間向量、所述樣本渲染圖像對應的第二隱空間向量和所述樣本點云數據對應的第三隱空間向量；

將所述第一隱空間向量、所述第二隱空間向量和所述第三隱空間向量輸入到所述判決子網絡中進行判斷，得到所述判決子網絡輸出的判決結果；所述判決結果包括所述第一隱空間向量是否來自于所述樣本渲染圖像和所述第二隱空間向量是否來自于所述樣本點云數據；

將所述第二隱空間向量輸入到所述解碼子網絡中，得到所述解碼子網絡輸出的所述訓練結果。

4.根據權利要求3所述的方法，其特征在于，所述編碼子網絡包括第一編碼器、第二編碼器和第三編碼器，所述將所述樣本二維圖像、所述樣本渲染圖像和所述樣本渲染圖像對應的樣本點云數據輸入到所述編碼子網絡中進行維度變換，得到所述編碼子網絡輸出的所述樣本二維圖像對應的第一隱空間向量、所述樣本渲染圖像對應的第二隱空間向量和所述樣本點云數據對應的第三隱空間向量，包括：

將所述樣本二維圖像輸入到所述第一編碼器中，得到所述第一編碼器輸出的所述第一隱空間向量；

將所述樣本渲染圖像輸入到所述第二編碼器中，得到所述第二編碼器輸出的所述第二隱空間向量；

將所述樣本點云數據輸入到所述第三編碼器中，得到所述第三編碼器輸出的所述第三隱空間向量。

5.根據權利要求3所述的方法，其特征在于，所述判決子網絡包括第一判決器和第二判決器；所述將所述第一隱空間向量、所述第二隱空間向量和所述第三隱空間向量輸入到所述判決子網絡中，得到所述判決子網絡輸出的判決結果，包括：

將所述第一隱空間向量和所述第二隱空間向量輸入到所述第一判決器中，得到所述第一判決器輸出的所述第一判決結果；所述第一判決結果包括所述第一隱空間向量是否來自于所述樣本渲染圖像；

將所述第二隱空間向量和所述第三隱空間向量輸入到所述第二判決器中，得到所述第二判決器輸出的所述第二判決結果；所述第二判決結果包括所述第二隱空間向量是否來自于所述樣本點云數據。

6.根據權利要求5所述的方法，其特征在于，所述基于所述訓練結果進行神經網絡的訓練，得到所述目標神經網絡，包括：

根據所述第一判決結果、所述第二判決結果和所述訓練結果進行神經網絡的訓練，得到所述目標神經網絡。