[發明專利]基于先驗模型的實時人體三維重建方法

有效

• 申請號: 202110363641.3
• 申請日: 2021-04-02
• 公開（公告）號: CN113112586B
• 公開（公告）日: 2023-02-28
• 發明（設計）人: 許威威;王龍;段子恒;鮑虎軍
• 申請（專利權）人: 浙江大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/593;G06T7/246;G06T5/50;G06T5/30;G06T5/20;G06T5/00
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 劉靜

1.一種基于先驗模型的實時人體三維重建方法，其特征在于，包括以下步驟：

S1：通過單目深度相機采集第一幀深度數據；

S2：初始化先驗人體模型，通過先驗人體模型跟蹤對齊第一幀深度數據；

S3：建立雙層人體結構，包括雙層表面和雙層節點；

S4：接收下一幀深度數據，在雙層人體結構與深度數據之間尋找對應點對；

S5：根據對應點對的匹配結果，動態調整目標函數權重，進行基于雙層人體結構的跟蹤；具體包括以下子步驟：

S51：使用先驗人體模型跟蹤人體的大致運動，目標函數如下：

各能量項的表達式如下：

ModelDataTerm：

ModelRegularTerm：

ModelPriorTerm：

S52：根據雙層表面之間的對應關系，對雙層人體結構進行初次變換；

S53：在初始變換的基礎上，結合雙層人體結構進行細節跟蹤，以刻畫出人體表面細節信息，目標函數如下：

其中為先驗人體模型的姿態參數，記錄了外層融合重建點云的變換；

在目標函數中，各能量項的具體描述如下：

FusedModelDataTerm：

其中v_f為融合重建點云中原有的點，優化前，首先通過先驗人體模型的姿態參數將v_f變換到當前幀，記為此時就可以將對應點對(v_f,u)作用到先驗人體模型上，是通過同樣方式得到的法向量；

FusedNodeGraphDataTerm：

該能量項中未知量是每個節點的剛體變換用通過FusedNode插值變換v_f得到

FusedNodeGraphRegularTerm：

其中N_j是第j個FusedNode在當前迭代下的位置，R_j,為第j個FusedNode在當前迭代下的旋轉變換矩陣與平移變換，m為FusedNode的數量，記錄了第j個FusedNode的所有鄰居序列，α_jk則記錄了這對鄰接關系的依賴權重；

ModelFusedBindTerm：

其中N_m是ModelNode，N_fob是OnBodyNode，為它們之間的對應關系，在ModelNode和OnBodyNode之間建立了軟約束；

S6：通過體素碰撞檢測結果，有選擇的融合深度數據并恢復重建表面細節。

2.根據權利要求1所述的一種基于先驗模型的實時人體三維重建方法，其特征在于，所述S1中，第一幀深度數據盡量使得人體以某個固定姿勢朝向深度相機；對第一幀深度數據進行預處理，包括雙邊濾波、膨脹腐蝕、異常點檢測、通過包圍盒選定有效區域。

3.根據權利要求1所述的一種基于先驗模型的實時人體三維重建方法，其特征在于，所述S2包括以下子步驟：

S21：根據先驗人體模型上頂點與關節的關系，將模型劃分為不同部位；

S22：根據各部位的語義信息，設置該部位用于尋找對應點對的距離和角度閾值的初始值；

S23：調整先驗人體模型的參數，使得模型的體態特征與第一幀深度數據的人體體態一致；調整先驗人體模型的參數，使得模型的姿態特征與第一幀深度數據的人體姿態一致。