[發(fā)明專利]用于在實時視頻跟蹤系統(tǒng)中跟蹤手臂運動的方法

無效

• 申請?zhí)枺?/td>: 200810061179.6
• 申請日: 2008-03-18
• 公開（公告）號: CN101256673A
• 公開（公告）日: 2008-09-03
• 發(fā)明（設(shè)計）人: 王修暉;楊海波
• 申請（專利權(quán)）人: 中國計量學(xué)院
• 主分類號: G06T7/20
• 分類號: G06T7/20;G06K9/00;G06F3/01
• 代理公司: 杭州求是專利事務(wù)所有限公司
• 代理人: 張法高

技術(shù)領(lǐng)域

本發(fā)明屬于自動控制技術(shù)領(lǐng)域，涉及一種融合計算機視覺、圖形圖像處理和自動控制，用于在沉浸式交互游戲、危險性工業(yè)控制和虛擬現(xiàn)實等領(lǐng)域?qū)崿F(xiàn)形象化的跟蹤手臂運動的方法。

技術(shù)背景

在分布式虛擬現(xiàn)實環(huán)境下，為了提供更加和諧友好的人機交互界面，有多種沉浸式交互模式可以選擇，如頭部運動跟蹤、面部表情識別、自然語言理解、手勢辨識等。一種比較直接的方式是綜合手臂運動跟蹤結(jié)果和數(shù)據(jù)手套的手勢輸出實現(xiàn)人機交互，其中手臂運動跟蹤提供位移信息，手勢輸出用于生成對象選中、平移和旋轉(zhuǎn)等語義。常見的手臂運動估計算法主要有基于電磁場切割理論的方法和基于視覺技術(shù)的方法兩大類。其中基于磁場切割理論的方法利用三軸線圈發(fā)射磁場，用固定在被檢測對象上的三軸磁傳感器探測磁場的變換信息，然后根據(jù)磁場發(fā)射信號和磁感應(yīng)信號之間的耦合關(guān)系確定被檢測對象的方位，并以位移增量的方式提供手臂在三個坐標(biāo)軸方向的位置信息。但是，由于此類跟蹤設(shè)備在國內(nèi)尚處于起步階段，而國外的產(chǎn)品價格十分昂貴，再加上目標(biāo)電磁場容易受到很多機電設(shè)備(電腦主機、顯示器、投影儀等)干擾，在很大程度上制約了其在并行虛擬現(xiàn)實環(huán)境下的推廣與應(yīng)用。基于計算機視覺技術(shù)的方法則跟蹤和估計交互者手臂的軸線，并通過軸線和顯示屏幕求交點來提供更加直觀的位置信息。其優(yōu)點在于交互時人的手臂和手能處于自然狀態(tài)，使人能夠以自然的方式進行人機交互，更加符合人類的日常行為習(xí)慣，因而在分布式虛擬環(huán)境中具有十分廣闊的應(yīng)用前景。

本發(fā)明主要參考以下幾篇文獻，并以此為基礎(chǔ)進行了改進和創(chuàng)新：

【1】任海兵，祝遠(yuǎn)新，徐光祐等.基于視覺手勢識別的研究-綜述.電子學(xué)報，2000，28(2)：118-121.

【2】M.La?Cascia，S.Sclaroff，V.Athitsos.Fast，reliable?headtracking?under?varying?illumination：an?approach?based?onregistration?of?texture?mapped?3d?models.IEEE?Transactions?onPattern?Analysis?and?Machine?Intelligence，2000，22(4)：322-336.

【3】王修暉，華煒，鮑虎軍.面向多投影顯示墻的手勢交互系統(tǒng)設(shè)計與實現(xiàn).計算機輔助設(shè)計與圖形學(xué)學(xué)報，2007，19(3)：318-322.

【4】孫怡，陳順翔，高大鵬.人體腿部運動圖像的跟蹤.模式識別與人工智能，2001，14(1)：82-85.

通過對交互者手部、頭部、手臂和腿部等信息的跟蹤和識別來定義和分類交互語義，是實現(xiàn)沉浸、和諧的人機交互的重要途徑。文獻【1】從手勢建模、手勢分析和手勢識別等三個方面介紹手勢識別的研究及其應(yīng)用，給出了基于視覺的手勢識別系統(tǒng)的一般構(gòu)成和工作流程。文獻【2】中公開了一種在環(huán)境光照變化的情況下，對人頭部進行快速可靠跟蹤的方法。該方法把人頭部建模為一個貼圖的柱面，從而將頭部跟蹤問題轉(zhuǎn)化為一個柱面紋理貼圖上的圖像校正問題。文獻【3】中公開了一個整合了滿足色彩一致性和特征一致性的特征點跟蹤算法來完成交互動作的捕捉，并配合數(shù)據(jù)手套的有限狀態(tài)機輸出，實現(xiàn)實時沉浸式手勢交互的整體方案。在此基礎(chǔ)上，利用計算機視覺中的圖像匹配、雙目融合技術(shù)和攝像頭、數(shù)據(jù)手套等傳感設(shè)備，設(shè)計并實現(xiàn)了一個基于多投影顯示墻的手勢交互系統(tǒng)(Gesture-Based?Interaction?System，GBIS)。文獻【4】針對人體腿部運動圖像，所提出的識別腿部關(guān)節(jié)的方法，在連續(xù)30幅(時間為1s)的腿部運動圖像上，利用腿部圖像本身的信息，自動找出每幅圖像中膝關(guān)節(jié)位置，為進一步的人體運動分析奠定了基礎(chǔ)。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于模糊預(yù)測控制理論的跟蹤手臂運動方法，通過該方法可以實現(xiàn)六自由度手臂導(dǎo)航操作，將游戲者(或操作者)的手臂動作轉(zhuǎn)換為虛擬場景(或工業(yè)設(shè)備)的控制命令。

本發(fā)明的用于在實時視頻跟蹤系統(tǒng)中跟蹤手臂運動的方法包括以下步驟：

a.輸入初始時刻的肘部和腕部標(biāo)識環(huán)的二維質(zhì)心位置和參考顯示平面的數(shù)據(jù)進行三維質(zhì)心位置重建，得到三維質(zhì)心位置作為參考控制量；所述的參考顯示平面的數(shù)據(jù)為目標(biāo)交互環(huán)境中參考顯示平面的長和寬；

b.根據(jù)交互場所的實測數(shù)據(jù)和預(yù)測反饋信息，使用隸屬度函數(shù)對步驟a中的參考控制量進行模糊化處理，得到模糊論域內(nèi)的特征環(huán)質(zhì)心語言變量；

c.采用Mamdani最小運算規(guī)則，求取在參考控制量作用下手臂狀態(tài)變量的預(yù)測值；