[發(fā)明專(zhuān)利]三維表面重建方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211313699.8
• 申請(qǐng)日: 2022-10-25
• 公開(kāi)（公告）號(hào): CN115761112A
• 公開(kāi)（公告）日: 2023-03-07
• 發(fā)明（設(shè)計(jì)）人: 胡事民;黃家暉;陳浩翔
• 申請(qǐng)（專(zhuān)利權(quán)）人: 清華大學(xué)
• 主分類(lèi)號(hào): G06T17/00
• 分類(lèi)號(hào): G06T17/00;G06F17/11;G06T3/40;G06V10/764;G06N3/0464;G06N3/08
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 李文清

本發(fā)明提供一種三維表面重建方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，其中的方法包括：確定目標(biāo)三維場(chǎng)景對(duì)應(yīng)的多個(gè)不同尺度的體素網(wǎng)格，體素網(wǎng)格中的每一體素均包含一個(gè)基函數(shù)；根據(jù)體素網(wǎng)格對(duì)應(yīng)的三維點(diǎn)云數(shù)據(jù)，獲取與體素網(wǎng)格對(duì)應(yīng)的基函數(shù)參數(shù)、法向數(shù)據(jù)以及目標(biāo)標(biāo)量；基于基函數(shù)參數(shù)、法向數(shù)據(jù)以及目標(biāo)標(biāo)量，確定基函數(shù)對(duì)應(yīng)的基函數(shù)系數(shù)；根據(jù)基函數(shù)及其對(duì)應(yīng)的基函數(shù)系數(shù)，對(duì)目標(biāo)三維場(chǎng)景的三維表面進(jìn)行重建。該方法能夠最大限度尊重三維點(diǎn)云數(shù)據(jù)的三維位置信息，從而使得重建盡可能的精確，克服了現(xiàn)有技術(shù)中三維表面重建效率低下且重建結(jié)果精度不高的缺陷，實(shí)現(xiàn)了三維表面的快速重建。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，尤其涉及一種三維表面重建方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

三維重建是指對(duì)三維物體建立適合計(jì)算機(jī)表示和處理的數(shù)學(xué)模型，是在計(jì)算機(jī)環(huán)境下對(duì)其進(jìn)行處理、操作和分析其性質(zhì)的基礎(chǔ)，也是在計(jì)算機(jī)中建立表達(dá)客觀世界的虛擬現(xiàn)實(shí)的關(guān)鍵技術(shù)。

但是，傳統(tǒng)的多視角幾何重建方法在多視角捕獲上耗時(shí)長(zhǎng)，重建效率過(guò)低，且三維表面重建結(jié)果的精度不高，而以往深度學(xué)習(xí)的重建算法大多采用體素或是點(diǎn)云的輸出結(jié)構(gòu)，體素表示在提升精度時(shí)會(huì)極大地耗費(fèi)內(nèi)存和增加計(jì)算時(shí)長(zhǎng)，從而，難以重建得到視覺(jué)效果良好的三維表面。

因此，如何解決現(xiàn)有技術(shù)中三維表面重建效率低下且重建結(jié)果精度不高的問(wèn)題，是計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域亟待解決的重要課題。

發(fā)明內(nèi)容

本發(fā)明提供一種三維表面重建方法、裝置、電子設(shè)別及存儲(chǔ)介質(zhì)，用以克服現(xiàn)有技術(shù)中三維表面重建效率低下且重建結(jié)果精度不高的缺陷，實(shí)現(xiàn)三維表面的快速重建。

一方面，本發(fā)明提供一種三維表面重建方法，包括：確定目標(biāo)三維場(chǎng)景對(duì)應(yīng)的多個(gè)不同尺度的體素網(wǎng)格，所述體素網(wǎng)格中的每一體素均包含一個(gè)基函數(shù)；根據(jù)所述體素網(wǎng)格對(duì)應(yīng)的三維點(diǎn)云數(shù)據(jù)，獲取與所述體素網(wǎng)格對(duì)應(yīng)的基函數(shù)參數(shù)、法向數(shù)據(jù)以及目標(biāo)標(biāo)量；根據(jù)所述基函數(shù)參數(shù)、所述法向數(shù)據(jù)以及所述目標(biāo)標(biāo)量，確定所述基函數(shù)對(duì)應(yīng)的基函數(shù)系數(shù)；根據(jù)所述基函數(shù)及其對(duì)應(yīng)的基函數(shù)系數(shù)，對(duì)所述目標(biāo)三維場(chǎng)景的三維表面進(jìn)行重建。

進(jìn)一步地，所述根據(jù)所述體素網(wǎng)格對(duì)應(yīng)的三維點(diǎn)云數(shù)據(jù)，獲取所述體素網(wǎng)格對(duì)應(yīng)的基函數(shù)參數(shù)、法向數(shù)據(jù)以及目標(biāo)標(biāo)量，包括：將所述三維點(diǎn)云數(shù)據(jù)輸入至自適應(yīng)稀疏卷積網(wǎng)絡(luò)，得到所述體素網(wǎng)格對(duì)應(yīng)的所述基函數(shù)參數(shù)、所述法向數(shù)據(jù)以及所述目標(biāo)標(biāo)量；其中，所述自適應(yīng)稀疏卷積網(wǎng)絡(luò)包括編碼器、體素解碼器以及點(diǎn)云解碼器，所述編碼器與所述體素解碼器跳層連接。

進(jìn)一步地，所述將所述三維點(diǎn)云數(shù)據(jù)輸入至自適應(yīng)稀疏卷積網(wǎng)絡(luò)，得到所述體素網(wǎng)格對(duì)應(yīng)的所述基函數(shù)參數(shù)、所述法向數(shù)據(jù)以及所述目標(biāo)標(biāo)量，包括：通過(guò)所述編碼器提取所述體素網(wǎng)格內(nèi)三維點(diǎn)云數(shù)據(jù)的整體特征；通過(guò)所述體素解碼器對(duì)所述整體特征進(jìn)行卷積處理，得到所述體素網(wǎng)格對(duì)應(yīng)的所述基函數(shù)參數(shù)和所述法向數(shù)據(jù)；基于所述體素解碼器中各網(wǎng)絡(luò)層的輸出結(jié)果，通過(guò)三線性插值法獲取所述各網(wǎng)絡(luò)層對(duì)應(yīng)的特征向量；并聯(lián)所述各網(wǎng)絡(luò)層對(duì)應(yīng)的特征向量，并將并聯(lián)后的特征向量輸入至多層感知機(jī)，得到所述目標(biāo)標(biāo)量。

進(jìn)一步地，所述基于所述基函數(shù)參數(shù)、所述法向數(shù)據(jù)以及所述目標(biāo)標(biāo)量，確定所述基函數(shù)對(duì)應(yīng)的基函數(shù)系數(shù)，包括：根據(jù)所述基函數(shù)參數(shù)、所述法向數(shù)據(jù)以及所述目標(biāo)標(biāo)量，構(gòu)建表面擬合的變分問(wèn)題；通過(guò)伽遼金法對(duì)所述變分問(wèn)題進(jìn)行變形，并采用歐拉-拉格朗日定理求取所述變分問(wèn)題的最小化條件；基于所述變分問(wèn)題的最小化條件，構(gòu)建線性方程；采用喬列斯基方法對(duì)所述線性方程進(jìn)行求解，得到所述基函數(shù)系數(shù)。

進(jìn)一步地，所述三維表面重建方法還包括：利用預(yù)設(shè)損失函數(shù)對(duì)所述自適應(yīng)稀疏卷積網(wǎng)絡(luò)進(jìn)行訓(xùn)練，所述預(yù)設(shè)損失函數(shù)包括表面擬合損失函數(shù)、第一法向損失函數(shù)、第二法向損失函數(shù)以及結(jié)構(gòu)分類(lèi)損失函數(shù)。

進(jìn)一步地，所述表面擬合損失函數(shù)、所述第一法向損失函數(shù)、所述第二法向損失函數(shù)以及所述結(jié)構(gòu)分類(lèi)損失函數(shù)的公式如下：