[發明專利]無標記人體運動捕捉方法

無效

• 申請號: 200910054604.3
• 申請日: 2009-07-09
• 公開（公告）號: CN101604447A
• 公開（公告）日: 2009-12-16
• 發明（設計）人: 嚴駿馳;劉劍;劉允才
• 申請（專利權）人: 上海交通大學
• 主分類號: G06T7/20
• 分類號: G06T7/20;G06T17/00
• 代理公司: 上海交達專利事務所
• 代理人: 毛翠瑩

技術領域

本發明涉及一種無標記人體運動捕捉方法，可用于高級人機交互、運動員輔助訓練、視頻監控以及虛擬現實等方面。屬于人體運動分析技術領域。

背景技術

人體運動捕捉即從視頻中得到人體運動各個參數(比如人體各關節的角度)的技術。通過多路攝像頭進行人體運動捕捉的方法可分為兩類：有標記人體運動捕捉和無標記人體運動捕捉。目前在商業上使用比較廣泛的是有標記的人體運動捕捉方法。B.Guerra-Filho于2005年在《Journal?of?Theoretical?and?Applied?Information(信息的理論和應用雜志)》發表的論文：“Optical?Motion?Capture：Theory?andImplementation(光學運動捕捉：理論和實現)”系統地介紹了有標記人體運動捕捉方法的理論和具體實施過程。但是，有標記人體運動捕捉方法有其明顯的不足之處：1、價格非常昂貴；2、被測試人員需要佩戴笨重的標記物；3、標記物容易被遮擋。而無標記系統可以克服有標記人體運動捕捉上述缺點。對于無標記人體運動捕捉方法，目前分為兩種，一種需要事先定義的人體骨架模型來估計運動參數；而另一種則不需要預先定義人體模型，而是從捕捉過程中獲得人體模型以及運動參數。

經過對現有通過人體三維體素獲取人體運動參數的技術文獻的檢索發現，Ivana等人于2003年發表在《International?Journal?of?Computer?Vision(國際計算機視覺雜志)》上的論文“Human?body?model?acquisition?and?tracking?using?voxel?data(利用體素數據獲取人體模型并跟蹤)”是基于預先確定的人體骨架模型方法的代表性文獻。作者通過對三維體素的不同部分(包括頭，軀干，手臂和腿部)進行分類，進而使用擴展的卡爾曼濾波器跟蹤人體各部位以估計人體的各個關節角度。然而當人體手臂靠攏軀干，或者雙腿合并的情況下，該方法無法可靠地對體素進行正確的分類，從而無法可靠地對各關節角度進行估計。而在不需要預先定義骨架模型的方法中，Chi-Wei?Chu等人于2003年發表在CVPR(計算機視覺和模式識別)會議上的論文“Markerless?Kinematic?Model?and?Motion?Capture?from?Volume?Sequences(從空間體素序列中進行無標記的運動模型獲取以及運動捕捉)”不需要事先人為地去初始化一個人體骨架模型，而是從體素序列中去自動獲取人體的骨架模型。但是該種方法需要很大的計算量，而且并不穩定。

發明內容

本發明的目的在于針對現有技術的不足，提供一種無標記人體運動捕捉方法，基于人體骨架套筒模型，能在身體各部位相互靠近的情況下提取人體關節坐標，進而求得人體運動參數。

為實現上述目的，在本發明的技術方案中，首先初始化人體骨架模型，并使其和第一幀的三維體素數據匹配。對于第二幀開始的體素數據，則根據模型和體素數據的全局匹配度，應用演化計算的優化算法調整骨架模型的全局坐標和各個關節角度。最后根據整個匹配搜索過程各個體素和人體模型各部位的匹配直方圖來對體素數據進行分類，以求得關節點的坐標，并根據人體模型計算出關節角度。

本發明的方法通過以下具體步驟實現：

1.采用多路攝像機從不同角度對人體運動進行視頻采集獲取彩色圖像，對各路彩色圖像進行前景分割，提取彩色圖像中的人體剪影。對構成人體目標所在三維空間的每個三維體素在各個彩色圖像平面的投影進行考察，對于每個三維體素，只要其在某個彩色圖像平面上的投影落在人體剪影之外，則將其從三維空間中挖除。留下的三維體素構成重建體素云，然后去除重建體素云的內部體素，得到重建的人體表面三維體素。

2.根據第一幀人體表面三維體素初始化人體的骨架模型，骨架模型將人體分為頭部、胸部、腹部、左小臂、左大臂、右小臂、右大臂、左大腿、左小腿、右大腿以及右小腿共11個部位，調節骨架模型的各個部位的關節角度以及骨骼長度和骨骼外套筒的內外半徑，使之和第一幀人體表面三維體素匹配。

3.從第二幀人體表面三維體素開始，利用初始化人體的骨架模型，使用全局優化的方法對人體表面三維體素進行跟蹤；對每幀人體表面三維體素執行若干次演化搜索，使骨架模型和人體表面三維體素的匹配度不斷增加；執行完指定次數的搜索后，記錄每個人體表面三維體素在當前幀搜索過程中被標記為身體各個部位的頻數，得到每個人體表面三維體素關于被標記為身體各個部位的統計分布的直方圖。