[發明專利]一種無標記運動捕捉及場景重建方法及裝置

有效

• 申請號: 201210237812.9
• 申請日: 2012-07-10
• 公開（公告）號: CN102842148A
• 公開（公告）日: 2012-12-26
• 發明（設計）人: 戴瓊海;葉亙之;劉燁斌
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張大威

技術領域

本發明涉及計算機視覺領域，特別涉及一種基于多手持深度相機的無標記運動捕捉及場景重建方法及裝置。

背景技術

人體運動捕捉是計算機視覺中的重要以及難點問題。近幾年來，運動捕捉已經成為商業電影虛擬人物制作的重要手段，但這種方法對采集環境要求十分苛刻。首先，表演者必須穿著帶有特殊標志物的表演服，算法需要通過對這些標志物的跟蹤才能重建出人體運動。其次，整個系統需要將相機固定在背景是綠幕布的攝影棚內，這些嚴格的局限性阻礙了其更廣泛更自由的應用。

未解決上述缺陷，學者們將注意力轉移到無標記運動捕捉技術的研究上。通過對算法的改進，表演者可以穿著日常著裝進行表演。但是對綠幕布的需求依舊存在，因為普通彩色相機很難分割前景背景，需要綠幕布作為先驗信息提供分割依據。

深度相機是近年來逐漸開始普及的感知三維世界的新方式，對于環境中的每個點，深度相機不但可以返回其顏色信息，還可以返回該點距離深度相機光心平面的垂直距離。這一開創性的技術發明為一般場景的無標記運動捕捉技術提供了可能性。

發明內容

本發明旨在至少解決上述技術問題之一。為此，本發明的目的在于提供一種利用多臺手持深度相機拍攝到的點云跟蹤人體運動參數以及相機位姿參數，同時實現人體運動捕捉以及背景環境三維重建的方法及對應的裝置。

根據本發明的基于多手持深度相機的無標記運動捕捉及場景重建方法包括以下步驟：A.提供人體模型和地板模型；B.提供多個深度相機，以非固定的手持方式進行拍攝，獲得包括多幀深度圖的深度視頻和包括多幀彩度圖的彩色視頻；C.根據所述深度圖和所述深度相機的內參矩陣，進行空間變換得到三維點云集合，并將三維點云點記為P；D.對同一所述深度相機的相鄰幀的所述彩色圖進行匹配，提取二維空間的場景特征點，并在所述三維點云集合中找到對應的三維空間的場景特征點S；E.根據所述人體模型中的表面網格點V、所述地板模型中的地板點G和所述三維空間的場景特征點S的信息，定義聯合優化模型；F.根據所述深度圖和所述彩色圖的信息，將三維點云點P與表面網格點V進行匹配，得到P-V匹配結果；和G.將所述P-V匹配結果對引入所述聯合優化模型，進行求解和變換，得到運動捕捉結果和場景重建結果。

根據本發明實施例的基于多手持深度相機的無標記運動捕捉及場景重建方法，不但實現了準確魯棒的運動參數估計，還同時實現了相機參數的恢復以及三維場景的實時重建。將所述的優化模型進行線性化變形，即可快速求解所有參數，算法準確、魯棒，真實感強，運行速度快，系統成本低，可以在普通PC機或工作站等硬件系統上實現，擁有廣闊的應用前景。

根據本發明的基于多手持深度相機的無標記運動捕捉及場景重建裝置包括以下部分：人體模型輸入模塊，用于輸入人體模型；地板模型輸入模塊，用于輸入地板模型；多視角的深度相機，用于非固定的手持方式進行拍攝，獲得包括多幀深度圖的深度視頻和包括多幀彩度圖的彩色視頻；點云轉換模塊，用于根據所述深度圖和所述深度相機的內參矩陣，進行空間變換得到三維點云集合，并將三維點云點記為P；特征點提取模塊，用于對同一所述深度相機的相鄰幀的所述彩色圖進行匹配，提取二維空間的場景特征點，并在所述三維點云集合中找到對應的三維空間的場景特征點S；匹配模塊，用于根據所述深度圖和所述彩色圖的信息，將三維點云點P與表面網格點V進行匹配，得到P-V匹配結果；聯合優化模型計算模塊，用于定義聯合優化模型，并將所述P-V匹配結果對引入所述聯合優化模型，通過線性化為一最小二乘問題進行求解，得到骨架參數χ和所述手持相機的外參矩陣γ；運動捕捉模塊，用于根據所述骨架參數χ，描述運動追蹤結果，以實現運動捕捉；和場景重建模塊，用于根據所述外參矩陣γ,結合所述內參矩陣，將所述手持相機獲得的點云點進行坐標變換，即得到T_γ(P)，將變換后的點云增加到原場景點云中，以實現場景重建。

根據本發明實施例的基于多手持深度相機的無標記運動捕捉及場景重建裝置，不但實現了準確魯棒的運動參數估計，還同時實現了相機參數的恢復以及三維場景的實時重建。將所述的優化模型進行線性化變形，即可快速求解所有參數，算法準確、魯棒，真實感強，運行速度快，系統成本低，可以在普通PC機或工作站等硬件系統上實現，擁有廣闊的應用前景。

本發明附加的方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發明的實踐了解到。

附圖說明

本發明上述的和/或附加的方面和優點從下面結合附圖對實施例的描述中將變得明顯和容易理解，其中，