[發明專利]基于Kinect傳感器的靜態手語字母識別系統及方法

有效

• 申請號: 201410191394.3
• 申請日: 2014-05-07
• 公開（公告）號: CN103927555B
• 公開（公告）日: 2018-01-05
• 發明（設計）人: 胡章芳;羅元;張毅;楊麟;席兵
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 重慶華科專利事務所50123
• 代理人: 康海燕

技術領域

本發明涉及計算機視覺及智能人-機交互領域，具體涉及一種基于機器視覺的人-機交互系統及其交互方法。

背景技術

隨著計算機的廣泛應用，人-機交互(Human Computer Interaction，HCI)已成為人們日常生活中的重要部分。人類自然地與自然界溝通的認知習慣和形式是人-機交互的發展方向。因此，研究者們也正在努力讓未來的終端能聽、能看、能說、能感覺。簡單來說，人-機交互就是人類與計算機交流互動。從鍵盤到鼠標控制，再從語音到觸摸，再到多點觸控，隨著人-機交互模式使用人群的擴大，并且不斷向非專業人群滲透，人-機交互方式也越來越回歸“自然”。在科技技術的變革中，人-機交互技術也有了質的進展，近年來人們對人-機交互方式的需求也更加擬人化、自然化。根據人們的需求，研究者在人-機交互領域做了更多的研究，因此，設計出來一種廣泛的能夠被大眾接受的人-機交互方式，會更好的提高人與機器之間的密切交流，同時也能夠提高交互效率。

手語識別的研究順應了人-機交互技術的發展需要。然而由于手語本身具有多樣性、多義性以及時間和空間上的差異性等特點，加之人手是復雜變形體以及視覺本身的不適定性，所以手語識別成為多學科交叉的研究課題。再者由于文化背景和應用環境的不同，使得手語識別研究無法整合到一個完整的框架當中，理論及技術未形成一個完整的體系。研究者多是根據特定的項目要求實現某些特定的功能，而不能將其應用到普遍的系統或研究當中。因此迫切需要對手語識別研究領域中的一些普遍難題進行解決，使其更具通用性。

目前，手語識別已被廣泛研究，尤其是基于視覺的識別方法。韓國Inda大學和Korea Polytechnic大學的JongShill Lee、YoungJOO Lee等人用熵分析法從背景復雜的視頻流中分割出手勢區域并進行手勢識別。使用鏈碼的方法檢測手勢區域的輪廓，最后計算出從手勢區域的質心到輪廓邊界的距離。該系統可識別6種手勢，平均識別率超過95％；6個人分別做每個手勢的識別率平均達到90％-100％。印度研究者Meenakshi Panwar在視覺手勢識別的基礎上提出了一種基于結構特征的手勢識別算法，通過背景去除、方向檢測、拇指檢測和手指數量檢測，來最終識別手勢。清華大學的Shin-Han Yu,Chung-Lin Huang采用并行馬爾可夫(PHMM)方法對40個臺灣手語符號進行識別,準確率為94.04％；Rini Akmeliawatil,Melanie Po-Leen Ooi等人采用指間帶有高亮標記的視覺手套作為輸入，用膚色分割結合神經網絡的方法對馬來西亞手語字母進行識別，正確率為95％。這些方法都獲得了很好的識別率，但是大多數都未考慮到對光照、復雜背景、角度變化這些環境因素的魯棒性。重慶郵電大學信息無障礙工程研發中心的科研人員采用Kinect傳感器結合HU不變矩算法實現了基于靜態手勢的智能輪椅的人-機交互，該方法通過識別預先設定的手勢來控制智能輪椅的運動，深度信息的應用有效的克服了光照、復雜背景、角度變化這些環境因素帶來的干擾。

在《重慶郵電大學學報(自然科學版)》第25卷第4期刊載的《一種基于改進的SURF算法的靜態手語字母識別方法》中公開了一種基于最近鄰匹配算法的改進的SURF算法，結合Kinect傳感器進行靜態手語字母的識別，以及該方法在以智能輪椅為平臺的實驗結果及分析。但是該方法為了克服復雜背景和光照變化對識別工作帶來的干擾，采用了深度圖像作為待檢測圖像，而深度圖像的像素值信息是由距離值信息轉化而來，在二值化獲得手像素區域分割結果后，掌心部分由于像素值信息極為相似，容易計算出錯誤的特征點，從而對下一步的識別工作帶來干擾。同時SURF特征向量是64維的，維數過高的特征向量也會對識別工作帶來一定的干擾。

發明內容

有鑒于此，為了解決上述問題，本發明公開了一種識別率高，魯棒性好的基于Kinect傳感器的靜態手語字母識別系統及方法。

本發明的目的是這樣實現的：

基于Kinect傳感器的靜態手語字母識別系統，包括：

1)攝像模塊，采用Kinect傳感器獲取深度圖像；

2)靜態手語特征提取模塊，采用SURF算法提取特征點；同時采用特征點篩選算法對SURF算法的計算結果進行優化，剔除錯誤特征點；

3)靜態手語識別模塊，對生成的64維的SURF特征點描述符，采用“一對一”SVM分類法，進行分類訓練及識別，得出識別的結果。