[發明專利]一種多模態手勢的識別方法

有效

• 申請號: 201811455224.6
• 申請日: 2018-11-30
• 公開（公告）號: CN109543644B
• 公開（公告）日: 2022-10-04
• 發明（設計）人: 馮志全;郭小沛
• 申請（專利權）人: 濟南大學
• 主分類號: G06V40/20
• 分類號: G06V40/20
• 代理公司: 北京中索知識產權代理有限公司 11640
• 代理人: 商金婷

本發明提供了一種多模態手勢的識別方法，屬于手勢識別領域。該多模態手勢的識別方法利用數據手套和Kinect采集手勢的數據，然后對采集到的數據進行預處理得到手勢的曲線，最后利用手勢的曲線特征進行手勢識別。本發明方法利用每一段曲線對整條曲線的貢獻程度即其波動程度的大小，給予其分配不同的權重，有效提高了易混淆的相似手勢或不規范手勢的識別正確率，同時在魯棒性和適用性方面較傳統的距離方法有了重大提高。

技術領域

本發明屬于手勢識別領域，具體涉及一種多模態手勢的識別方法。

背景技術

按照識別對象，可將手勢識別分為靜態手勢識別和動態手勢識別。靜態手勢識別主要是以手的姿勢和形狀作為識別對象。靜態手勢因為其局限性，只能表達少量的含義，只能用于比較簡單的情景，對于復雜的應用則無能為力。動態手勢識別則將一組連續的手勢動作(包括手形的變化和手勢運動的軌跡)作為研究對象。相對靜態手勢而言，它能表達的含義更加豐富和準確，也是人們日常生活中常用的一種交流方式。將兩種手勢結合進行識別，從而可以應對復雜的手勢交互工作。

傳統的手勢識別技術主要包括基于佩帶設備的手勢識別和基于普通攝像頭的RGB計算機視覺的手勢識別。基于穿戴式設備的手勢識別是指利用數據手套或者三維設備進行的手勢識別方法，在一定程度上限制了自然的人機交互。傳統基于視覺的手勢識別技術易受到復雜背景和光照等的干擾，識別效果嚴重下降。

國外在手勢識別領域的起步較早。1893年，Bell實驗室的Grimes最先取得了“數據手套”的專利，因此，他也可以說是最早開始手勢識別研究的科研人員。到20世紀90年代，手勢識別技術得到了突飛猛進的發展。利用數據手套等典型傳感設備的方法，卡耐基一梅隆大學的Christopher Lee和Xu在1995年完成了一個操縱機器人的手勢控制系統，臺灣大學的Liang等人利用單個VPL公司的數據手套作為手勢輸入設備，可識別臺灣手勢課本中的250個基本詞條，識別率為90.5％。Kadous用Power Gloves作為手勢輸入設備，識別有95個孤立詞構成的詞匯集，正確率為80％。

在基于視覺的識別方法方面，姚遠等人提出了一種基于RGB-D圖像的手勢識別方法，該方法利用3D手型輪廓特征降低手勢匹配的復雜度，能夠識別較為復雜的手勢動作，且識別的準確率較高，但是其識別方法比較復雜并且需要使用深度攝像頭作為輸入設備。一些研究學者以提取人體的三維骨架數據為基礎，關節點角度、位置等作為手勢特征來進行手勢的識別，這種識別方式比較適合于小幅度周期性變化或靜態手勢的識別。吳江琴、高文通過研究ANN-HMM源合方法，成功開發出有18個傳感器的Cyber-Glover型號數據手套的中國手語識別系統。而在單目視覺下的手勢識別方面，2000年，清華大學祝遠新、徐光枯等對有關連續動態手勢的識別進行了研究，通過融合手勢運動信息和皮膚顏色信息，成功的進行了復雜背景下的手勢分割。2008年9月，中國科學院計算技術研究所手語識別與合成課題組歷時8年，開發出了先進的手語識別與合成技術：基于運動跟蹤的原理，使用了2只數據手套和3個六自由度位置跟蹤器，記錄真實人體演示每個手語詞的運動數據，以建立初始的手語詞運動數據庫。然后再對數據庫里的每個手語詞的運動數據進行編輯與微調，最后得到高質量的手語詞運動數據庫。

雖然手勢識別在國內外己經有了很大量的研究，但是仍存在一些問題需要解決，主要包括實時性、光照、復雜運動下的跟蹤、遮擋等問題。

發明內容

本發明的目的在于解決上述現有技術中存在的難題，提供一種多模態手勢的識別方法，具有很好的識別率，能夠應對復雜的手勢交互。

本發明是通過以下技術方案實現的：

一種多模態手勢的識別方法，利用數據手套和Kinect采集手勢的數據，然后對采集到的數據進行預處理得到手勢的曲線，最后利用手勢的曲線特征進行手勢識別。

所述利用數據手套和Kinect采集手勢的數據的操作包括：