[發(fā)明專利]重建三維模型的方法及裝置和三維模型采集及重建系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110200760.7
• 申請日: 2021-02-23
• 公開（公告）號: CN112907733A
• 公開（公告）日: 2021-06-04
• 發(fā)明（設計）人: 章志華;張帆
• 申請（專利權）人: 北京華清易通科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T1/20;G06T3/40
• 代理公司: 北京景聞知識產權代理有限公司 11742
• 代理人: 朱鴻雁

本發(fā)明公開了一種重建三維模型的方法及裝置和三維模型采集及重建系統(tǒng)，所述重建三維模型的方法，包括：獲取目標物體的三維彩色點云數據；根據所述三維彩色點云數據生成第一分辨率下的三維體素數據；將所述第一分辨率下的三維體素數據輸入超分辨率神經網絡模型以生成第二分辨率下的三維體素數據，其中，所述第一分辨率小于所述第二分辨率；根據所述第二分辨率下的三維體素數據獲得所述目標物體的三維模型。該方法可以在不提高GPU計算力的情況下，提高三維模型的分辨率。

技術領域

本發(fā)明涉及三維技術領域，尤其是涉及一種重建三維模型的方法、一種重建三維模型的裝置以及計算機存儲介質和一種三維模型采集及重建系統(tǒng)。

背景技術

數字物體例如人體三維采集重建是虛擬現實領域重要的研究問題，隨著技術的發(fā)展，通過低成本采集設備實現人體的動態(tài)采集成為非常有前景的應用。但是，由于動態(tài)物體本身動態(tài)速率比較快，運動情況復雜，表面情況多變等因素，目前沒有很好的方法對其進行跟蹤建模。同時，對動態(tài)物體建模的精度取決于采樣精度和計算機實時處理能力，現有的硬件條件下也十分受限。

相關技術中，通過采用Dynamic Fusion(動態(tài)融合)對動態(tài)物體進行建模，但是該方法由于速度的限制，最終獲得的模型的分辨率不高。這個速度限制主要來源于在方法計算過程中所使用的體素建模方法，體素建模是計算機圖形學中常用的一種方法，模型最終的精度、分辨率取決于體素模型采用的立方體數量多少，而計算機能夠實時處理立方體的數量取決于GPU(Graphics Processing Unit，圖形處理器)的計算能力。例如，對于DynamicFusion算法，在采用1080Ti GPU的情況下，只能實時處理256³數量的體素模型，而這個分辨率在高精度應用上是十分受限的。

發(fā)明內容

本發(fā)明旨在至少解決現有技術中存在的技術問題之一。為此，本發(fā)明的一個目的在于提出一種重建三維模型的方法，該方法可以在不提高GPU計算力的情況下，提高三維模型的分辨率。

本發(fā)明的目的之二在于提出一種重建三維模型的裝置。

本發(fā)明的目的之三在于提出一種計算機存儲介質。

本發(fā)明的目的之四在于提出一種三維模型采集及重建系統(tǒng)。

為了解決上述問題，本發(fā)明第一方面實施例提供的重建三維模型的方法，包括：獲取目標物體的三維彩色點云數據；根據所述三維彩色點云數據生成第一分辨率下的三維體素數據；將所述第一分辨率下的三維體素數據輸入超分辨率神經網絡模型以生成第二分辨率下的三維體素數據，其中，所述第一分辨率小于所述第二分辨率；根據所述第二分辨率下的三維體素數據獲得所述目標物體的三維模型。

根據本發(fā)明實施例的重建三維模型的方法，在基本不提高GPU計算力的情況下，通過采用超分辨率神經網絡模型，將第一分辨率下的三維體素數據輸入超分辨率神經網絡模型以生成第二分辨率下的三維體素數據，其中，第一分辨率小于第二分辨率，即將低分辨率體素數據生成為高分辨率體素數據，進而以高分辨率體素數據獲得目標物體的三維模型，從而可以提高三維模型的分辨率。

在一些實施例中，所述超分辨率神經網絡模型通過以下步驟訓練獲得：獲取物體的彩色三維點云序列；基于動態(tài)融合方法求解變形場以對所述彩色三維點云序列進行配準；將所述彩色三維點云序列在所述第一分辨率下獲得第一組體素數據，以及，將所述彩色三維點云序列在所述第二分辨率下獲得第二組體素數據；以所述第一組體素數據為輸入，以所述第二組體素數據為基準，訓練基礎網絡模型，以獲得所述超分辨率神經網絡模型。

在一些實施例中，獲取目標物體的彩色三維點云數據，包括：獲取目標物體時序上連續(xù)的深度圖像序列和彩色圖像序列；對每一幀深度圖像進行處理以獲得三維點云數據，以及，對每一幀彩色圖像進行處理以獲得顏色數據；將對應幀圖像的三維點云數據與顏色數據進行配準，獲得所述三維彩色點云數據。