[發明專利]一種無標記運動捕捉及場景重建方法及裝置

有效

• 申請號: 201210237812.9
• 申請日: 2012-07-10
• 公開（公告）號: CN102842148A
• 公開（公告）日: 2012-12-26
• 發明（設計）人: 戴瓊海;葉亙之;劉燁斌
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張大威

1.一種基于多手持深度相機的無標記運動捕捉及場景重建方法，其特征在于，包括以下步驟：

A.提供人體模型和地板模型；

B.提供多個深度相機，以非固定的手持方式進行拍攝，獲得包括多幀深度圖的深度視頻和包括多幀彩度圖的彩色視頻；

C.根據所述深度圖和所述深度相機的內參矩陣，進行空間變換得到三維點云集合，并將三維點云點記為P；

D.對同一所述深度相機的相鄰幀的所述彩色圖進行匹配，提取二維空間的場景特征點，并在所述三維點云集合中找到對應的三維空間的場景特征點S；

E.根據所述人體模型中的表面網格點V、所述地板模型中的地板點G和所述三維空間的場景特征點S的信息，定義聯合優化模型；

F.根據所述深度圖和所述彩色圖的信息，將三維點云點P與表面網格點V進行匹配，得到P-V匹配結果；和

G.將所述P-V匹配結果對引入所述聯合優化模型，進行求解和變換，得到運動捕捉結果和場景重建結果。

2.如權利要求1所述的基于多手持深度相機的無標記運動捕捉及場景重建方法，其特征在于，其中，所述人體模型符合骨架驅動表面規律，即滿足所述骨架驅動表面規律的定義公式：其中V為表面網格點，T_χV為表面網格點在關節轉角χ下變形T_χ得到的目標位置，α為關節序號，N為關節數目，θ_αξ_α為關節旋轉參數。

3.如權利要求2所述的基于多手持深度相機的無標記運動捕捉及場景重建方法，其特征在于，所述地板模型為圓形平面模型，所述地板模型用于提供地板平面約束。

4.如權利要求3所述的基于多手持深度相機的無標記運動捕捉及場景重建方法，其特征在于，所述根據所述深度圖和所述深度相機的內參矩陣，進行空間變換得到三維點云集合的空間變換公式為：其中P為所述三維點云集合中的三維點云點，（m,n）為所述深度圖中的像素點，m、n表示所述像素點（m,n）的坐標，d(m,n)表示所述像素點（m,n）的深度值。

5.如權利要求4所述的基于多手持深度相機的無標記運動捕捉及場景重建方法，其特征在于，所述對同一所述深度相機的相鄰幀的所述彩色圖進行匹配的方法為尺度不變特征轉換(SIFT)特征匹配。