[發(fā)明專利]一種基于手勢識別的人機交互方法

有效

• 申請?zhí)枺?/td>: 201210331153.5
• 申請日: 2012-09-10
• 公開（公告）號: CN102854983A
• 公開（公告）日: 2013-01-02
• 發(fā)明（設計）人: 陳超;金晶;魚江海;孟劍萍;廖永東
• 申請（專利權(quán)）人: 中國電子科技集團公司第二十八研究所
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

技術(shù)領(lǐng)域

本發(fā)明公開了一種人機交互的方法，具體涉及一種基于人體手勢的變化的識別而產(chǎn)生的人機交互方法。

背景技術(shù)

隨著虛擬現(xiàn)實技術(shù)的發(fā)展和計算機性能的提高，人機界面的操作方向必然是向高計算機性能、高通信帶寬下新的控制方式發(fā)展，讓用戶擁有更便捷的人機交互方式。近年來，手勢交互技術(shù)已經(jīng)進行了一些研究，但是由于人手涉及到多處變形復雜的關(guān)節(jié)體，以及手勢本身具有的多樣性、復雜性、多義性等特點，手勢識別技術(shù)還有很大的研究空間。很多現(xiàn)有的人機交互系統(tǒng)都利用了數(shù)據(jù)手套設備，雖然利用數(shù)據(jù)手套能夠提高識別的準確率，但是也失去了手勢交互自然性，并且數(shù)據(jù)手套設備也比較昂貴。本發(fā)明提出的手勢操作方式是利用攝像頭采集的手勢局部圖像特征來進行描述、識別和控制的過程，以及如何基于手勢控制替代傳統(tǒng)的鼠標操作的問題。

在中華人民共和國國家知識產(chǎn)權(quán)局專利檢索系統(tǒng)中檢索“手勢”、“人機”、“交互”等關(guān)鍵詞，檢索到三篇題名與本發(fā)明相近：《一種基于語音和手勢的多通道人機交互方法》(申請?zhí)枺?01110278390.5)?，該發(fā)明通過識別語音和手勢可以完成復雜場景下的精確目標指點，與本發(fā)明的應用場景不同，本發(fā)明立足于通過識別基礎(chǔ)的手勢用以替代鼠標操作，并確保其可靠性?！兑环N移動終端壓力觸控手勢識別的人機交互方式》(申請?zhí)枺?01010152888.2)，該發(fā)明的技術(shù)實現(xiàn)基于壓力觸摸板，與本發(fā)明基于攝像頭捕捉手勢不同?！痘谝暰€跟蹤和手勢識別的人機交互方法及裝置》(申請?zhí)枺?00810030194.4)，該發(fā)明通過攝像頭同時捕捉人眼與手的動作進行鼠標定位，并將所有功能封裝于一硬件模塊中；而本發(fā)明則是僅通過捕捉人手進行鼠標定位，除了配置一普通攝像頭外，其它工作都由相應的模塊來完成。

發(fā)明內(nèi)容

發(fā)明目的：為了克服現(xiàn)有技術(shù)中存在的不足，本發(fā)明提供一種人機交互的方法，具體涉及一種基于人體手勢的變化的識別而產(chǎn)生的人機交互方法。

技術(shù)方案：為解決上述技術(shù)問題，本發(fā)明提供的一種基于手勢識別的人機交互方法，包括以下步驟：（1）拍攝圖像視頻流過程：啟動攝像頭，拍攝手勢圖像視頻流；（2）對圖像視頻流的處理過程：此過程包括兩部分：手勢分割和手勢跟蹤；通過對手勢圖像視頻流進行手勢分割，將手勢圖像視頻轉(zhuǎn)化為相應的圖像幀，再根據(jù)相應的圖像幀建立手勢模板，再利用HSV直方圖的粒子濾波算法得到手勢的運動軌跡和預測方向；（3）手勢識別過程：從圖像視頻流中得出的圖像幀，根據(jù)相應的算法軟件提取出手勢的形狀、特征以及位置信息，通過預先建立相應的手勢模板對手勢進行識別，然后再設置對應的鼠標位置和動作，同時轉(zhuǎn)換為相應的系統(tǒng)鼠標事件；（4）手勢交互過程：預先定義手勢映射模型，根據(jù)手勢識別的結(jié)果建立手勢交互的對應關(guān)系，轉(zhuǎn)換成相應的系統(tǒng)指令，例如，鼠標單擊、鼠標移動等，然后根據(jù)需求驅(qū)動特定的系統(tǒng)動作模擬相應的系統(tǒng)鼠標事件，進行人機交互。用戶手勢在計算機屏幕或者投影屏上指點的位置，通過一個放大的鼠標指針來指示，因此無須對計算機系統(tǒng)做出修改。另外，軟件還預留了接口可以根據(jù)用戶的定義進行功能的擴展。

所述步驟（2）中的手勢分割是通過背景建模、運動目標檢測建模以及結(jié)合HSV膚色檢測模型來快速定位檢測。

所述的HSV膚色檢測模型和光線補償模型結(jié)合使用；在某些特定的環(huán)境下，采用自適應的光線補償技術(shù)以彌補膚色檢測的不足，保持手勢分割的準確性，得到手勢的位置和手勢區(qū)域的直方圖等特征。實驗結(jié)果表明，本發(fā)明所采用的方法對復雜的背景有一定的適應能力。

所述步驟（3）中的手勢識別包括人臉識別和手勢識別，所述手勢識別包括手掌模板和握拳模板兩種；所述的手勢識別過程是采用動態(tài)的手勢序列識別的方法；所述步驟（2）中的手勢跟蹤和步驟（3）中手勢識別均還包括錯誤識別程序。本發(fā)明通過預先定義手勢模板，提取模板的特征，建立當前輸入的手勢特征的判決函數(shù)，通過機器學習方法進行訓練，預測的匹配結(jié)果作為最后的識別結(jié)果，分析出當前手勢的含義。手勢模板為單色位圖，目前只需手掌和握拳兩種即可滿足需求。在跟蹤和識別的過程中還需進行錯誤識別的判讀，如在跟蹤手掌手勢時，偶然出現(xiàn)數(shù)幀非連續(xù)性的握拳或其它手勢，則需要進行自動排除，避免對后面的交互工作產(chǎn)生干擾。

所述步驟（3）中的手勢交互中的模擬系統(tǒng)鼠標事件是通過下列方式實現(xiàn)的：

（1）程序保存歷史手勢，與當前手勢進行比較；

（2）在手勢移動的情況下，若手掌攤開則為普通移動，握拳則是拖動選中的目標；（3）在手勢靜止的情況下，手掌由攤開轉(zhuǎn)為握拳產(chǎn)生鼠標按下事件，握拳轉(zhuǎn)為攤開則產(chǎn)生鼠標釋放事件，握拳超過時間限制則產(chǎn)生鼠標長按事件。