[發明專利]三維表面重建方法、裝置、電子設備及存儲介質

在審

• 申請號: 202211313699.8
• 申請日: 2022-10-25
• 公開（公告）號: CN115761112A
• 公開（公告）日: 2023-03-07
• 發明（設計）人: 胡事民;黃家暉;陳浩翔
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06F17/11;G06T3/40;G06V10/764;G06N3/0464;G06N3/08
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 李文清

1.一種三維表面重建方法，其特征在于，包括：

確定目標三維場景對應的多個不同尺度的體素網格，所述體素網格中的每一體素均包含一個基函數；

根據所述體素網格對應的三維點云數據，獲取與所述體素網格對應的基函數參數、法向數據以及目標標量；

基于所述基函數參數、所述法向數據以及所述目標標量，確定所述基函數對應的基函數系數；

根據所述基函數及其對應的基函數系數，對所述目標三維場景的三維表面進行重建。

2.根據權利要求1所述的三維表面重建方法，其特征在于，所述根據所述體素網格對應的三維點云數據，獲取與所述體素網格對應的基函數參數、法向數據以及目標標量，包括：

將所述三維點云數據輸入至自適應稀疏卷積網絡，得到所述體素網格對應的所述基函數參數、所述法向數據以及所述目標標量；

其中，所述自適應稀疏卷積網絡包括編碼器、體素解碼器以及點云解碼器，所述編碼器與所述體素解碼器跳層連接。

3.根據權利要求2所述的三維表面重建方法，其特征在于，所述將所述三維點云數據輸入至自適應稀疏卷積網絡，得到所述體素網格對應的所述基函數參數、所述法向數據以及所述目標標量，包括：

通過所述編碼器提取所述體素網格內三維點云數據的整體特征；

通過所述體素解碼器對所述整體特征進行卷積處理，得到所述體素網格對應的所述基函數參數和所述法向數據；

基于所述體素解碼器中各網絡層的輸出結果，通過三線性插值法獲取所述各網絡層對應的特征向量；

并聯所述各網絡層對應的特征向量，并將并聯后的特征向量輸入至多層感知機，得到所述目標標量。

4.根據權利要求1所述的三維表面重建方法，其特征在于，所述基于所述基函數參數、所述法向數據以及所述目標標量，確定所述基函數對應的基函數系數，包括：

根據所述基函數參數、所述法向數據以及所述目標標量，構建表面擬合的變分問題；

通過伽遼金法對所述變分問題進行變形，并采用歐拉-拉格朗日定理求取所述變分問題的最小化條件；

基于所述變分問題的最小化條件，構建線性方程；

采用喬列斯基方法對所述線性方程進行求解，得到所述基函數系數。

5.根據權利要求2所述的三維表面重建方法，其特征在于，還包括：

利用預設損失函數對所述自適應稀疏卷積網絡進行訓練，所述預設損失函數包括表面擬合損失函數、第一法向損失函數、第二法向損失函數以及結構分類損失函數。

6.根據權利要求5所述的三維表面重建方法，其特征在于，所述表面擬合損失函數、所述第一法向損失函數、所述第二法向損失函數以及所述結構分類損失函數的公式如下：

其中，為所述表面擬合損失函數，為所述第一法向損失函數，為所述第二法向損失函數，為所述結構分類損失函數，p為三維點云數據，為訓練所需的真值幾何形狀所采樣的三維點云數據，f(p)為隱式函數，δ為常量，n_p為點p的法向數據，為體素網格對應的法向數據，CE為交叉熵監督方式，為真值的結構分類，s為體素網格的尺度標號，k為體素網格標號。

7.根據權利要求1-6中任一項所述的三維表面重建方法，其特征在于，所述基于所述基函數及其對應的基函數系數，對所述目標三維場景的三維表面進行重建，包括：

將所述基函數與所述基函數系數進行線性組合，得到與所述目標三維場景相對應的隱式函數；

提取所述隱式函數的等高面，得到所述目標三維場景的三維表面重建結果；

其中，所述隱式函數用于描述所述目標三維場景的三維表面形狀，所述三維表面重建結果為所述三維表面形狀的三角網格表示。