[發明專利]一種三維人體掃描非剛性重建和測量方法及裝置

有效

• 申請號: 201811305010.0
• 申請日: 2018-11-01
• 公開（公告）號: CN109523635B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 朱繼;楊少毅;褚智威
• 申請（專利權）人: 深圳蒜泥科技投資管理合伙企業（有限合伙）
• 主分類號: G06T17/20
• 分類號: G06T17/20
• 代理公司: 西安智萃知識產權代理有限公司 61221
• 代理人: 張蓓

1.一種三維人體掃描非剛性重建和測量方法，其特征在于，包括以下步驟:

步驟1：獲取初始幀深度圖像，并利用Marching?Cube算法生成初始化的立體三角網格模型；

步驟2：計算所述初始化的立體三角網格模型的蒙皮權重；

步驟3：獲取當前幀深度圖像和當前幀RGB圖像，從當前幀深度圖像和當前幀RGB圖像中提取人體骨架信息和人體輪廓信息，并建立最優化模型；根據最優化模型計算當前幀與初始幀之間的人體非剛性變換系數；

步驟4：利用所述非剛性變換系數，將當前幀深度圖像逆變換到立體三角網格模型的坐標空間中，并利用TSDF算法將初始幀深度圖像與當前幀深度圖像的深度信息融合；

步驟5：重復步驟4和步驟5，將多幀深度圖像進行融合后生成最終的人體三維模型；

所述步驟3具體包括：

步驟3.1：建立最優化模型

獲取下一幀深度圖像和下一幀RGB圖像作為當前幀深度圖像和當前幀RGB圖像；

根據當前幀深度圖像計算人體骨架信息的具體方法為：計算該幀深度圖像中的骨架位置信息，并根據歐式距離計算該幀深度圖像與初始幀深度圖像的對應頂點集合C，其中，{v_k,u_k}∈C；

根據當前幀RGB圖像計算人體輪廓信息的具體方法為：用Mask?RCNN算法提取RGB圖像中人體的輪廓點z_l，由輪廓點z_l組成人體輪廓信息集合S，其中，{z_l}∈S；

根據所述人體骨架信息集合和人體輪廓信息集合S，建立最優化模型；

步驟3.2：計算人體非剛性變換系數

根據最優化模型計算當前幀與初始幀間的對應采樣點x_i的人體非剛性變換系數

具體的，使用迭代最近點ICP算法迭代優化最優化模型的損失函數，計算得到非剛性變換系數；

在步驟3.2中，所述的最優化模型的目標函數L包含四個損失函數L₁、L₂、L₃、L₄：

L＝L₁+L₂+L₃+L₄?(2)

其中，損失函數L₁用于建立根據人體非剛性變換系數計算得到的深度圖像與當前幀的實際深度圖像的距離模型；

L₂用于建立根據骨骼運動變換系數計算得到的深度圖像與當前幀實際深度圖像的距離模型；

L₃用于約束人體非剛性變換系數和骨骼運動變換系數兩種方式估算出的頂點位置的一致性；定義如下：

L₄表示將根據非剛性變換系數估算得到的當前幀深度圖像投影到二維RGB圖像空間后的人體輪廓與當前幀實際RGB圖像中提取的人體輪廓的吻合程度。

2.根據權利要求1所述的三維人體掃描非剛性重建和測量方法，其特征在于，所述步驟1包括以下具體步驟：

步驟1.1：獲取3臺深度相機拍攝的深度圖像，并將同一時間拍攝的3張深度圖片拼接在一起，組成拼接深度圖像；

步驟1.2：根據所述拼接深度圖像實時監測人體骨架，并根據人體骨架姿勢獲取初始幀深度圖像；

步驟1.3：將所述初始幀深度圖像映射為三維空間的點云數據，并根據MarchingCube算法計算得到初始化的立體三角網格模型。