[發明專利]基于多視角的深度相機的無標記動作捕捉方法及裝置

有效

• 申請號: 201210207809.2
• 申請日: 2012-06-18
• 公開（公告）號: CN102800103A
• 公開（公告）日: 2012-11-28
• 發明（設計）人: 劉燁斌;葉亙之;戴瓊海
• 申請（專利權）人: 清華大學
• 主分類號: G06T7/20
• 分類號: G06T7/20
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張大威

技術領域

本發明涉及計算機視覺領域，特別涉及一種基于多視角的深度相機的無標記動作捕捉方法及裝置。

背景技術

人體運動捕捉是計算機視覺中的重點以及難點問題。準確魯棒的運動捕捉算法在電影制作、電視轉播、機器人控制等方面有著廣泛應用。運動捕捉一般可以分為有標記和無標記兩類方法。其中有標記運動捕捉是指演員要穿著帶有特殊標志物的服裝進行表演，算法通過對這些標志物的識別，實時的獲取演員的動作參數。這種方法準確性高，算法復雜度小，已經被廣泛的應用于商業電影的制作過程中。但這種方法中演員必須穿著笨重的緊身道具服進行表演，而且該方法也很難應用于攝影棚外真實場景的拍攝環境。為了解決上述不足，無標記動作捕捉技術逐漸成為近年本領域研究熱點。

現有的無標記運動捕捉技術一般指表演者穿著日常普通服裝，在一間綠幕布攝影棚內進行表演，由設在其中的多相機系統采集其動作，由特定的算法對采集的多視角視頻序列進行運動跟蹤。這種方法突破了有標記運動捕捉方法必須穿著帶有標記點服裝進行采集的不足，但仍然離不開綠幕布的使用，無法適用于一般場景的拍攝。

深度相機是近年來逐漸開始普及的感知三維世界的新方式，對于環境中的每個點，深度相機不但可以返回其顏色信息，還可以返回該點距離深度相機光心平面的垂直距離。這一開創性的技術發明為一般場景的無標記運動捕捉技術提供了可能性。

發明內容

本發明旨在至少解決上述技術問題之一。為此，本發明的目的在于提出一種無需標記設備、追蹤結果更優魯棒的基于多視角的深度相機的無標記動作捕捉方法。本發明的另一目的在于提出一種無需標記設備、追蹤結果更優魯棒的基于多視角的深度相機的無標記動作捕捉裝置。

為了實現上述目的，根據本發明的基于多視角的深度相機的無標記動作捕捉方法包括以下步驟：A.對所述多視角的深度相機進行標定，得到標定參數；B.通過所述多視角的深度相機采集深度圖和彩色圖；C.根據所述標定參數和所述深度圖，進行三維空間變換得到點云集合；D.根據所述深度圖和彩色圖中的信息，將所述點云集合中的每一個三維點云點P與人體模型上的每一個表面網格點V進行匹配，得到匹配結果；E.根據所述匹配結果，通過優化能量函數進行運動捕捉，得到追蹤結果。

在本發明的一個實施例中，所述標定參數包括內參矩陣Kc、旋轉矩陣Rc和平移向量Tc。

在本發明的一個實施例中，根據下列計算公式進行三維空間變換得到所述點云集合:其中P為所述點云集合中的三維點云點，（i，j）為所述深度圖中的像素點，i、j表示所述像素點的坐標，d(i，j)表示所述像素點（i，j）的深度值。

在本發明的一個實施例中，所述將所述點云集合中的每一個三維點云點P與人體模型上的每一個表面網格點V進行匹配進一步包括：