[發明專利]一種生成任意幀率的三維網格模型序列的方法及裝置

有效

• 申請號: 202110416920.1
• 申請日: 2021-04-19
• 公開（公告）號: CN113112607B
• 公開（公告）日: 2022-09-06
• 發明（設計）人: 付彥偉;姜柏言;張寅達;薛向陽
• 申請（專利權）人: 復旦大學
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06N3/08;G06N3/04;G06F17/13
• 代理公司: 上海德昭知識產權代理有限公司 31204
• 代理人: 郁旦蓉

本發明提供了一種生成任意幀率的三維網格模型序列的方法及裝置，屬于三維計算機視覺領域，用于對稀疏的三維點云序列進行處理，得到該序列當中任意時刻所對應的三維網格模型，包括如下步驟：步驟S1，對預先獲取的包括多個三維模型的三維模型數據集進行預處理得到訓練樣本；步驟S2，搭建三個三維點云特征提取網絡；步驟S3，隨機決定是否交換成對的三維點云序列的身份編碼；步驟S4，搭建神經常微分方程網絡；步驟S5，搭建深度解碼網絡；步驟S6，構建損失函數；步驟S7，基于損失函數對三維模型生成模型進行訓練，步驟S8，將單個三維點云序列以及查詢時刻T＝t輸入訓練完成的三維模型生成模型。

技術領域

本發明屬于三維計算機視覺領域，具體涉及一種基于神經常微分方程的組合表示方法對稀疏的三維點云序列進行處理得到任意幀率的三維網格模型序列的方法及裝置。

背景技術

形狀表示是三維計算機視覺，尤其是在深度學習時代的核心主題之一。最近，深度隱式表示在重建精確的表面細節方面顯示出令人鼓舞的能力。但是，我們人類生活在具有時間維度的四維世界中，并且我們每天看到的大多數對象和場景都在隨時間移動或變形。許多現有的應用還需要機器能夠理解或重建4D數據，例如自動駕駛，機器人技術，虛擬現實/增強現實等。但是，如何重建四維數據，即隨時間變化的三維對象，仍然是一個有待解決的問題。

一些基于深度學習的三維重建算法可以比較直接地擴展到四維空間。例如，有一種點云生成模型可以從單張彩色圖片重建物體表面的點云，針對該方法，可以將其擴展為預測多個三維點的軌跡而不是三維點的坐標，從而實現四維點云重建；或是使用神經網絡來建模三維物體的隱式表面，通過在給定的體積內采樣一些查詢點，然后利用網絡預測每個點位于物體內部的概率，最終通過表面提取算法得到三維網格模型。針對該方法，可以直接在四維空間中采樣查詢點，建模不同時刻所對應的表面。但是，上述方法都是在現有三維重建算法上的簡單擴展，無法準確捕捉對象的運動信息。

另外有方法利用神經常微分方程構建速度場，對每個三維點在某一時刻的速度進行預測，然后使用常微分方程解決器求解三維點在每個時刻的位置。在推斷時，先利用深度隱式表示重建第一幀的網格模型，然后，將該網格模型的每個點作為起點利用神經常微分方程直接對每個點的坐標進行變換，從而得到任意時刻對應的網格模型。但直接在三維空間對點進行變換，模型表達能力有限，導致重建對象的某些部分產生不合理的移動且缺少表面細節。

發明內容

為解決上述問題，提供一種生成任意幀率的三維網格模型序列的方法以及裝置，本發明采用了如下技術方案：

本發明提供了一種生成任意幀率的三維網格模型序列的方法，用于對稀疏的三維點云序列進行處理，得到該序列當中任意時刻所對應的三維網格模型，其特征在于，包括如下步驟：步驟S1，對預先獲取的包括多個三維模型的三維模型數據集進行預處理得到訓練樣本，訓練樣本包含成對的三維點云序列以及三維采樣點位于三維模型的內部或外部的標簽信息；步驟S2，搭建三個三維點云特征提取網絡，分別對成對的三維點云序列提取初始姿態特征、全局幾何特征以及全局運動特征，并分別表述為初始姿態編碼、身份編碼以及運動編碼；步驟S3，隨機決定是否交換成對的三維點云序列的身份編碼；步驟S4，搭建神經常微分方程網絡，將三維點云序列所對應的運動編碼作為指導編碼對初始姿態編碼進行變換，得到查詢時刻T＝t對應的姿態編碼；步驟S5，搭建深度解碼網絡；步驟S6，構建損失函數；步驟S7，基于損失函數對由三維點云特征提取網絡、神經常微分方程網絡以及深度解碼網絡組成的三維模型生成模型進行訓練得到訓練完成的三維模型生成模型；步驟S8，將單個三維點云序列以及查詢時刻T＝t輸入訓練完成的三維模型生成模型，利用預定的表面提取算法對三維表面隱函數提取表面，得到查詢時刻T＝t對應的三維網格模型并輸出，其中，查詢時刻T＝t可以為指定時間范圍內的任意標量值。

本發明提供的生成任意幀率的三維網格模型序列的方法，還可以具有這樣的特征，其中，步驟S5中，建模三維表面隱函數，將三維點云序列所對應的T＝t時刻的姿態編碼以及身份編碼連接起來作為指導編碼，對在指定體積內采樣得到的三維點預測其位于三維模型的內部的概率從而建立深度解碼網絡。