[發(fā)明專利]三維標記點序列的跟蹤方法及其系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201010199191.0
• 申請日: 2010-06-07
• 公開（公告）號: CN101894377A
• 公開（公告）日: 2010-11-24
• 發(fā)明（設計）人: 夏時洪;鄧小明;黃武;王文中;毛天露
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06T7/20
• 分類號: G06T7/20
• 代理公司: 北京律誠同業(yè)知識產(chǎn)權代理有限公司 11006
• 代理人: 祁建國;梁揮

技術領域

本發(fā)明涉及計算機視覺和模式識別領域，尤其涉及三維標記點序列的跟蹤方法及其系統(tǒng)。

背景技術

二十世紀八十年代以來，光學運動捕獲技術日漸成熟，在光學運動捕獲中，需要在捕獲對象上粘貼反光標記點，并用多個同步的已標定攝像機來采集這些標記點圖像，然后從圖像中提取出二維標記點并進行跟蹤與重構，得到三維標記點坐標，然后從中計算出捕獲對象的運動參數(shù)。

由于人體運動比較復雜，標記點經(jīng)常被肢體遮擋，在跟蹤過程中不可避免會導致標記點跟蹤失敗，因此需要一種魯棒的方法提高跟蹤的效果。

此外，跟蹤方法不能完全保證所有標記點都被正確識別，因此在實際的捕獲系統(tǒng)中需要處理標記點丟失的問題。目前的運動捕獲系統(tǒng)中，為了解決標記點丟失的問題，常常需要非常繁瑣的人工修補數(shù)據(jù)過程，如在主流商用系統(tǒng)Vicon?iQ中的Fill?tools，而且人工修補數(shù)據(jù)往往需要在人體運動數(shù)據(jù)方面豐富經(jīng)驗的人員完成，一般的人員難以進行。另外人工修補數(shù)據(jù)經(jīng)常會出現(xiàn)修補錯誤的情況，這給后續(xù)幀的準確運動跟蹤帶來很大困難。因此，需要解決在運動跟蹤中自動修補丟失標記點的問題。

發(fā)明內(nèi)容

為了解決上述的技術問題，本發(fā)明提供了三維標記點序列的跟蹤方法及其系統(tǒng)，利用給定的人體鏈狀結構模型，從捕獲到的標記點序列中，正確跟蹤人體鏈狀結構模型的剛體中的各個特征點。

本發(fā)明公開了一種三維標記點序列的跟蹤方法，包括：

步驟1，讀取觀測對象的人體鏈狀結構模型，確定所述人體鏈狀結構模型中的剛體以及每個剛體上的特征點；

步驟2，通過運動捕捉獲得觀測對象的運動圖像的幀，每一幀具有多個圖像，每一個圖像對應于一個運動捕捉中的采集攝影機，所述圖像中具有所述幀的二維標記點，第一幀具有已識別三維標記點；

步驟3，將前一幀的已識別三維標記點在當前幀的圖像中投影，所述已識別三維標記點同特征點對應，依據(jù)所述投影在當前幀中搜素出特征點對應的二維標記點，由所述二維標記點重構出特征點在當前幀中的候選三維標記點，所述候選三維標記點組成所述剛體的候選標記點集合；

步驟4，對于每個剛體，從所述剛體的候選標記點集合中枚舉出標記點組合，計算標記點組合對應的標注似然函數(shù)值，保留最大的標注似然函數(shù)值對應的標記點組合，識別所述標記點組合中的候選三維標記點為所述剛體中特征點在當前幀中的三維標記點。

所述步驟3進一步為，

步驟21，將前一幀的已識別三維標記點在當前幀的圖像中投影；

步驟22，在投影周圍的預設范圍內(nèi)搜索當前幀的二維標記點，搜素出的二維標記點對應于所述已識別三維標記點對應的特征點；

步驟23，依據(jù)極幾何約束對所述二維標記點進行匹配，重構出所述特征點在當前幀中對應的候選三維標記點，同一剛體的特征點的候選三維標記點組成所述剛體的候選標記點集合。

所述步驟4還包括：

步驟31，在枚舉前，從所述候選標記點集合中除去不符合約束條件的候選三維標記點；

所述約束條件為同一剛體中的特征點對應三維標記點間距離滿足第一預設范圍，同一特征點對應三維標記點在相鄰幀中的位移滿足第二預設范圍。

所述方法還包括：

步驟5，如果在當前幀中存在丟失的三維標記點，則根據(jù)當前幀中已識別出的三維標記點建立候選補充三維標記點集合；所述丟失的三維標記點同剛體上在當前幀中未被識別出的特征點對應；

步驟6，依據(jù)所述標注似然函數(shù)從所述候選補充三維標記點集合中選擇同剛體中未被識別的特征點對應的三維標記點。

所述步驟6進一步包括：

步驟51，從在當前幀中具有未被識別出特征點的剛體中，選擇具有最多在當前幀中已被識別出特征點的剛體；

步驟52，對于選出的所述剛體，通過所述標注似然函數(shù)從所述候選補充三維標記點集合中選擇所述剛體中未被識別的特征點對應的三維標記點；

步驟53，重復所述步驟51，直至所有擁有候選補充三維標記點的剛體的特征點都對應有已識別三維標記點。

對于一個當前幀丟失的三維標記點，所述丟失的三維標記點對應的特征點所在的剛體為對象剛體，如果所述對象剛體上至少有一個特征點在當前幀中具有已識別三維標記點，則所述步驟5進一步包括：

步驟61，在當前幀的所有圖像中搜索尚未用于重構已識別的三維標記點的二維標記點；

步驟62，對于每個二維標記點，計算所述二維標記點的從所述二維標記點所在圖像對應的攝像機光心出發(fā)的三維反投影光線；