[發(fā)明專利]基于多模態(tài)融合的實時人體三維姿態(tài)恢復的方法

無效

• 申請?zhí)枺?/td>: 201210230898.2
• 申請日: 2012-07-04
• 公開（公告）號: CN102800126A
• 公開（公告）日: 2012-11-28
• 發(fā)明（設計）人: 肖俊;劉彬;莊越挺
• 申請（專利權）人: 浙江大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/00
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 張法高

技術領域

本發(fā)明涉及一種實時人體三維姿態(tài)恢復的方法，尤其涉及利用深度圖以及色標對人體三維姿態(tài)實時地進行恢復的方法。

背景技術

人體三維姿態(tài)恢復是指通過設備獲取現實中人體的運動數據，包括各主要關節(jié)點的三維空間坐標信息等；再對這些運動數據進行計算與渲染，從而建立虛擬場景中角色的運動姿態(tài)。通過這樣的技術，可以將現實中人體的運動與虛擬世界中角色的運動綁定起來，從而驅動虛擬角色的運動。目前，人體的三維姿態(tài)恢復技術廣泛地應用在電影、動畫拍攝以及游戲制作等領域中，該技術相較于傳統(tǒng)計算機動畫的建模技術，效率更高，可以做到實時性。

實現人體三維姿態(tài)恢復的技術有很多種，主要分為光學系統(tǒng)和非光學系統(tǒng)。非光學設備一般通過重力加速器或者輔助的機械設備來獲取人體的運動數據，使用的并不是很廣泛。而目前光學系統(tǒng)中，大多通過近紅外設備為主，即由多個紅外線攝像頭識別出標記點（由反光率較高的材質制成）的位置，再通過定標算法，將標記點坐標轉換為三維空間內的坐標。這種技術的優(yōu)點是恢復出來的姿態(tài)比較精確，系統(tǒng)的魯棒性比較高，而缺點是進行運動捕獲的流程較為復雜，成本較高。

也有人使用多個普通攝像頭提供多視角信息，再提取每個視角側影的特征值后，從數據庫中找出相似的姿態(tài)。這種技術優(yōu)點是硬件成本較低，但是需要有特定數據集的支持，而且對于所要捕獲的動作也有較大的限制。

隨著微軟推出新一代的交互設備Kinect，人體三維姿態(tài)恢復的技術又有了新的突破。Kinect設備可以捕獲場景的深度圖，深度圖中每個像素與其在場景中的位置相對應并具有表示從每個參考位置到其場景位置的距離的像素值（換言之，深度圖具有圖像的形式，其中，像素值指出場景中的物體的形貌信息，而不是亮度或顏色）。Jamie?Shotton等人在他們的論文“Real-Time?Human?Pose?Recognition?in?Parts?from?Single?Depth?lmages”中，描述了一種基于機器學習的方法來恢復人體姿態(tài)。以色列一家公司Prime?Sense也開發(fā)出了一種基于啟發(fā)式方法的技術，通過對深度圖進行背景減除、場景重建的方法，恢復出人體三維骨架信息。在以上方法中，只需要通過一臺kinect設備，不需要任何的標記點即可實時地恢復出人體的運動姿態(tài)，這與傳統(tǒng)的光學系統(tǒng)相比，有了很大的提升。同時，這種技術也大大降低了人體三維姿態(tài)恢復的成本，使得該技術可以進入家庭娛樂領域。

然而，上述方法在穩(wěn)定性上，與傳統(tǒng)光學設備仍然有一定差距，且實現難度較大。

發(fā)明內容

本發(fā)明的目的是提供一種基于多模態(tài)融合的實時人體三維姿態(tài)恢復的方法。

基于多模態(tài)融合的實時人體三維姿態(tài)恢復的方法，它的步驟如下：

1）以不小于25幀每秒的幀速同步接受包含人體在內的場景深度圖序列以及場景彩色圖序列，所述場景深度圖序列中的每一幀場景深度圖由像素矩陣組成，像素矩陣中的每個像素點的值表示該像素點所對應場景中的位置到參考位置的距離，即該像素點的深度值；所述場景彩色圖序列中的每一幀圖片由像素矩陣組成，像素矩陣中的每個像素點的值表示該像素點所對應場景中的位置所表示的顏色信息，由RGB顏色值表示；

2）分割所述場景深度圖的背景與前景像素，獲得場景深度圖中表述人體部位的區(qū)域，即前景像素；

3）處理場景深度圖中的前景像素，標注出場景深度圖中表示人體軀干、頭部以及四肢的像素點；

4）通過人臉檢測，識別出場景彩色圖中的人臉位置，通過場景彩色圖與場景深度圖的映射得到人體頭部在場景深度圖中的投影坐標，并轉換為現實世界中的三維坐標，所述投影坐標為三維向量（X，Y，Z），其中（X，Y）具體地指向場景深度圖的某個像素點，Z為該像素點的深度值；

5）根據頭部在場景深度圖中的投影坐標，計算頸部與肩部在場景深度圖中的投影坐標，并轉換為現實世界中的三維坐標；

6）通過四肢端點佩戴的帶有顏色的標記物，獲取手部及腳部在場景深度圖中的投影坐標，并轉換為現實世界中的三維坐標；

7）通過手部和肩膀的三維坐標，計算出肘關節(jié)在場景深度圖中的投影坐標，并轉換為現實世界中的三維坐標；

8）通過腳部和臀部的三維坐標，計算出膝關節(jié)在場景深度圖中的投影坐標，并轉換為現實世界中的三維坐標；