[發(fā)明專利]三維重建方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011407052.2
• 申請日: 2020-12-04
• 公開（公告）號(hào): CN112581597A
• 公開（公告）日: 2021-03-30
• 發(fā)明（設(shè)計(jì)）人: 曹逸塵
• 申請（專利權(quán)）人: 上海眼控科技股份有限公司
• 主分類號(hào): G06T17/00
• 分類號(hào): G06T17/00;G06T15/00;G06N3/04;G06N3/08
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 史治法

本申請涉及一種三維重建方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。所述方法包括：獲取目標(biāo)二維圖像；所述目標(biāo)二維圖像包括待進(jìn)行三維重建的目標(biāo)對(duì)象；將所述目標(biāo)二維圖像輸入到預(yù)先訓(xùn)練的目標(biāo)神經(jīng)網(wǎng)絡(luò)中，得到所述目標(biāo)神經(jīng)網(wǎng)絡(luò)輸出的重建結(jié)果；所述重建結(jié)果包括所述目標(biāo)對(duì)象的三維點(diǎn)云數(shù)據(jù)；其中，所述目標(biāo)神經(jīng)網(wǎng)絡(luò)為基于樣本二維圖像、樣本渲染圖像和樣本點(diǎn)云數(shù)據(jù)進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到的。采用本方法能夠三維重建的成本，提高三維重建的效率。

技術(shù)領(lǐng)域

本申請涉及三維重建技術(shù)領(lǐng)域，特別是涉及一種三維重建方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

三維重建，是指對(duì)現(xiàn)實(shí)世界中的三維物體用計(jì)算機(jī)來進(jìn)行模擬。目前，三維重建技術(shù)已經(jīng)廣泛應(yīng)用于醫(yī)學(xué)系統(tǒng)、自主導(dǎo)航、航空及遙感測量、工業(yè)自動(dòng)化等領(lǐng)域，為人們的工作和生活帶來了極大地便利。

相關(guān)技術(shù)中，三維重建的過程包括：采用帶有深度信息采集功能的攝像頭對(duì)目標(biāo)物體進(jìn)行圖像采集，然后根據(jù)帶有深度信息的圖像對(duì)目標(biāo)物體進(jìn)行三維重建。

但是，由于帶有深度信息采集功能的攝像頭比較昂貴，而且不易操作，因此三維重建的成本較高、效率較低。

發(fā)明內(nèi)容

基于此，有必要針對(duì)上述技術(shù)問題，提供一種能夠降低三維重建的成本，提高效率的三維重建方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

一種三維重建方法，該方法包括：

獲取目標(biāo)二維圖像；目標(biāo)二維圖像包括待進(jìn)行三維重建的目標(biāo)對(duì)象；

將目標(biāo)二維圖像輸入到預(yù)先訓(xùn)練的目標(biāo)神經(jīng)網(wǎng)絡(luò)中，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)輸出的重建結(jié)果；重建結(jié)果包括目標(biāo)對(duì)象的三維點(diǎn)云數(shù)據(jù)；

其中，目標(biāo)神經(jīng)網(wǎng)絡(luò)為基于樣本二維圖像、樣本渲染圖像和樣本點(diǎn)云數(shù)據(jù)進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到的。

在其中一個(gè)實(shí)施例中，在上述將目標(biāo)二維圖像輸入到預(yù)先訓(xùn)練的目標(biāo)神經(jīng)網(wǎng)絡(luò)中，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)輸出的重建結(jié)果之前，該方法還包括：

獲取訓(xùn)練樣本集合；訓(xùn)練樣本集合包括多個(gè)樣本二維圖像、多個(gè)樣本渲染圖像和各樣本渲染圖像對(duì)應(yīng)的樣本點(diǎn)云數(shù)據(jù)；樣本二維圖像中包括訓(xùn)練對(duì)象；

將樣本二維圖像、樣本渲染圖像和樣本渲染圖像對(duì)應(yīng)的樣本點(diǎn)云數(shù)據(jù)輸入到待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)中，得到待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)輸出的訓(xùn)練結(jié)果；訓(xùn)練結(jié)果包括訓(xùn)練對(duì)象的三維點(diǎn)云數(shù)據(jù)；

基于訓(xùn)練結(jié)果進(jìn)行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)。

在其中一個(gè)實(shí)施例中，上述待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)包括編碼子網(wǎng)絡(luò)、判決子網(wǎng)絡(luò)和解碼子網(wǎng)絡(luò)；上述將樣本二維圖像、樣本渲染圖像和樣本渲染圖像對(duì)應(yīng)的樣本點(diǎn)云數(shù)據(jù)輸入到待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)中，得到待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)輸出的訓(xùn)練結(jié)果，包括：

將樣本二維圖像、樣本渲染圖像和樣本渲染圖像對(duì)應(yīng)的樣本點(diǎn)云數(shù)據(jù)輸入到編碼子網(wǎng)絡(luò)中進(jìn)行維度變換，得到編碼子網(wǎng)絡(luò)輸出的樣本二維圖像對(duì)應(yīng)的第一隱空間向量、樣本渲染圖像對(duì)應(yīng)的第二隱空間向量和樣本點(diǎn)云數(shù)據(jù)對(duì)應(yīng)的第三隱空間向量；

將第一隱空間向量、第二隱空間向量和第三隱空間向量輸入到判決子網(wǎng)絡(luò)中進(jìn)行判斷，得到判決子網(wǎng)絡(luò)輸出的判決結(jié)果；判決結(jié)果包括第一隱空間向量是否來自于樣本渲染圖像和第二隱空間向量是否來自于樣本點(diǎn)云數(shù)據(jù)；

將第二隱空間向量輸入到解碼子網(wǎng)絡(luò)中，得到解碼子網(wǎng)絡(luò)輸出的訓(xùn)練結(jié)果。

在其中一個(gè)實(shí)施例中，上述編碼子網(wǎng)絡(luò)包括第一編碼器、第二編碼器和第三編碼器，上述將樣本二維圖像、樣本渲染圖像和樣本渲染圖像對(duì)應(yīng)的樣本點(diǎn)云數(shù)據(jù)輸入到編碼子網(wǎng)絡(luò)中進(jìn)行維度變換，得到編碼子網(wǎng)絡(luò)輸出的樣本二維圖像對(duì)應(yīng)的第一隱空間向量、樣本渲染圖像對(duì)應(yīng)的第二隱空間向量和樣本點(diǎn)云數(shù)據(jù)對(duì)應(yīng)的第三隱空間向量，包括：

將樣本二維圖像輸入到第一編碼器中，得到第一編碼器輸出的第一隱空間向量；