[發明專利]基于多目相機的三維人體運動跟蹤的方法

無效

• 申請號: 200710044219.1
• 申請日: 2007-07-26
• 公開（公告）號: CN101154289A
• 公開（公告）日: 2008-04-02
• 發明（設計）人: 鄧浩龍;申抒含;劉允才
• 申請（專利權）人: 上海交通大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T17/00
• 代理公司: 上海交達專利事務所
• 代理人: 王錫麟;王桂忠

技術領域

本發明涉及一種電信技術領域的方法，具體是一種基于多目相機的三維人體運動跟蹤的方法。

背景技術

三維人體運動跟蹤是當前計算機視覺領域研究的一個熱點和難點。從視頻數據當中抽取人體骨架模型是一個很有效的監控和跟蹤方法。從三維體素數據得到的人體骨架主要應用領域有：監控系統，虛擬現實，高級用戶接口，智能環境，娛樂，運動分析，醫學，教育等。三維體素英文單詞為voxel，是Volume?Element兩個單詞的縮寫，把Voxel叫做“體素”，它就相當于二維圖像中的“pixel”--“像素”，是三維空間中的基本小方塊，包含每個點的X、Y和Z三個坐標等信息，通過多目相機來獲取三維的人體體素數據來進行姿態估計和人體運動跟蹤是一種很新穎的方法。然而僅僅有了三維人體的體素數據還不能足以解決許多實際問題。通過多目相機得到的體素數據直接進行重建并對其跟蹤，由于相機數量的不同導致結果參差不齊，數據量總體來說很大，運算速度慢且不易進行數據實時傳輸和網絡發布，達不到跟蹤和監控的效果。人體運動跟蹤既有二維人體運動跟蹤，也有三維人體運動跟蹤。三維人體運動跟蹤相對于二維的要復雜得多。通過體素數據來分析人體運動已經很普遍，但是通過體素數據來得到準確的人體骨架從而對人體運動進行跟蹤卻很少有人涉及。這個工作意義比較特殊，既可以將得到的跟蹤結果用于監控系統，又可以當作中間結果來進行人體姿勢和動作的識別，作進一步的研究。總的來說，人體運動的準確跟蹤意義重大，是整個計算機視覺領域的難題。

經對現有技術文獻的檢索發現，Caillette，F.等人于2004年在《Third?IEEE?andACM?International?Symposium?on?Mixed?and?Augmented?Reality》(IEEE和ACM第三屆關于混合和擴展現實的國際研討會)上發表的論文“Real-time?markerlesshuman?body?tracking?using?colored?voxels?and?3D?blobs”，(用彩色體素和三維模塊實時跟蹤無標記的人體)論文中用帶有顏色的體素信息來對人體進行跟蹤，該方法需要被跟蹤目標和場景有比較好的顏色對比差，這就大大限制了它在工程當中的應用。

發明內容

本發明的目的在于克服現有技術中的不足，提供一種基于多目相機的三維人體運動跟蹤的方法，使其具有穩定性好，快速性好，精度性高，輸出文件小，易于保存和傳輸的特點。本發明通過對人體運動的跟蹤，準確地判斷和預測人體的姿態、動作等，從而可以讓計算機進行自行分析和判斷，在一個監控系統當中，可以將此信息實時地傳送到監控終端，從而可以實時發現異常情況并及時采取相應措施。

本發明是通過以下技術方案實現的，包括以下步驟：

第一，提取人體表面的體素數據點，對體素數據進行處理，得到最外層的點；

第二，在抽取骨架對人體運動進行跟蹤之前構建一個標準的三維人體骨架模型，用于在跟蹤的過程當中對其進行動態的姿勢調整，以實現它和原始三維圖像的擬合；

第三，構建人體骨架抽取方法，根據在三維人體骨架模型中每段骨頭套筒內的體素點個數是否為最大調整骨架模型姿態；

第四，構建最優匹配骨架的實現方法，通過改變三維人體骨架模型中根節點的空間位置和每段骨頭繞其父節點的旋轉角度來判斷當前人體骨架姿態是否已經達到跟蹤要求。

所述提取人體表面的體素數據點，對體素數據進行處理，得到最外層的點，是指：采用16個攝像機得到三維人體體素數據之后，為了減小數據、提升處理速度，把人體最外面的體素尋找出來。有了三維體素數據，把所有體素都用計算機顯示出來就可以得到三維圖像。為了得到三維圖像最外層的點，本發明設計了3×3×3的圖像模板。其中3×3×3是指在三維空間中每個體素(包括它本身)的前、后、左、右、上、下六個方向組成立方體模板的共計27個點。不同于二維圖像，這個模板是26連通域。對于任何一個體素，對上、下、左、右、前、后和它歐式距離小于或者等于的點全部算作是該點的鄰域點，共計26個。在判斷過程當中判斷該點的鄰域點是否有背景點，若有則為最外層點。