[發明專利]一種基于人臉表情識別的鼠標控制方法

有效

• 申請號: 201310280227.1
• 申請日: 2013-07-04
• 公開（公告）號: CN103336577A
• 公開（公告）日: 2013-10-02
• 發明（設計）人: 肖慶國;葉慶衛;周宇;王曉東
• 申請（專利權）人: 寧波大學
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 寧波奧圣專利代理事務所(普通合伙) 33226
• 代理人: 周玨

技術領域

本發明涉及一種鼠標控制方法，尤其是涉及一種基于人臉表情識別的鼠標控制方法。

背景技術

目前，人們在使用計算機時，一般通過手動控制鼠標設備，而對于一些特殊群體如無手的殘疾人士來說，這種傳統的使用鼠標的方式會帶給他們很多的不便。為了使人機交互更加智能和便捷，更為方便特殊群體使用電腦，人們研究開發了多種無需手動控制鼠標的方法，比如有依賴于人的手勢識別的控制方法，但是這種方法不能夠方便無手殘疾人士使用，其他的一些方法有采用舌頭動作的方式，但是實時性不高，而且對于控制人的舌頭來控制鼠標這種方式，檢測精度不是很高，很容易受干擾，具有很大的局限性。

發明內容

本發明所要解決的技術問題是提供一種實時度高、使用靈活度強且成本較低的基于人臉表情識別的鼠標控制方法。

本發明解決上述技術問題所采用的技術方案為：一種基于人臉表情識別的鼠標控制方法，包括以下步驟：

1）獲取模板圖像：通過攝像頭采集四幅具有不同特征的人臉圖像，然后對采集到的每幅人臉圖像進行灰度轉換和鏡像轉換處理，得到處理后的人臉圖像，再在每幅處理后的人臉圖像中設定一個具有顯著特征的感興趣區域，將每幅處理后的人臉圖像中的感興趣區域作為一幅模板圖像，并設定第一幅模板圖像用于代表鼠標左鍵單擊，第二幅模板圖像用于代表鼠標右鍵單擊，第三幅模板圖像用于代表鼠標左鍵雙擊，第四幅模板圖像用于代表鼠標移動；

2）實時獲取待匹配的人臉圖像：通過攝像頭實時捕獲人臉圖像，對實時捕獲到的人臉圖像進行灰度轉換和鏡像轉換處理，得到待匹配的人臉圖像；

3）獲取待匹配的人臉圖像與每幅模板圖像之間的相似度：利用歸一化互相關方法對待匹配的人臉圖像與每幅模板圖像進行互相關處理，得到每幅模板圖像對應的互相關矩陣，將第一幅模板圖像對應的互相關矩陣中的最大值作為待匹配的人臉圖像與第一幅模板圖像之間的第一相似度，將第二幅模板圖像對應的互相關矩陣中的最大值作為待匹配的人臉圖像與第二幅模板圖像之間的第二相似度，將第三幅模板圖像對應的互相關矩陣中的最大值作為待匹配的人臉圖像與第三幅模板圖像之間的第三相似度，將第四幅模板圖像對應的互相關矩陣中的最大值作為待匹配的人臉圖像與第四幅模板圖像之間的第四相似度；

4）判定將對鼠標執行的操作：首先，找出第一相似度、第二相似度和第三相似度中的最大相似度；其次，根據最大相似度和第四相似度，判定將對鼠標執行的動作指令，具體過程為：如果最大相似度大于或等于預先設定的點擊閾值，且第四相似度小于預先設定的移動閾值，則判定將對鼠標執行點擊操作，然后按照最大相似度對應的模板圖像所代表的鼠標動作來執行具體的點擊動作，即當最大相似度對應第一幅模板圖像時執行鼠標左鍵單擊的動作，當最大相似度對應第二幅模板圖像時執行鼠標右鍵單擊的動作，當最大相似度對應第三幅模板圖像時執行鼠標左鍵雙擊的動作；如果第四相似度大于或等于預先設定的移動閾值，且最大相似度小于預先設定的點擊閾值，則判定將對鼠標執行移動操作；如果最大相似度大于或等于預先設定的點擊閾值，且第四相似度大于或等于預先設定的移動閾值，則判定將對鼠標執行持續在移動的同時保持左鍵持續按壓狀態的拖拽動作；

5）控制鼠標執行操作：根據第一相似度、第二相似度、第三相似度和第四相似度在各自所對應的互相關矩陣中的位置，得到第一相似度、第二相似度、第三相似度和第四相似度各自所對應的到互相關矩陣的中心位置的橫向矢量位移和縱向矢量位移；當判定結果為將對鼠標執行移動操作時，利用正割函數將第四相似度所對應的橫向矢量位移和縱向矢量位移的數值限定在(-1,1)之間，然后再分別乘以鼠標的靈敏度后傳入鼠標控制API函數中，執行相應的鼠標移動動作；當判定結果為將對鼠標執行點擊操作時，將第一相似度、第二相似度、第三相似度各自所對應的互相關矩陣的中心位置的橫向矢量位移和縱向矢量位移均設置為0，然后根據左鍵單擊、右鍵單擊及左鍵雙擊的指令分別設定對應的鼠標控制API函數中的參數。

所述的步驟1）中以人臉圖像中嘴巴張開的感興趣區域為代表鼠標左鍵單擊的第一幅模板圖像，以人臉圖像中右眼閉上的感興趣區域為代表鼠標右鍵單擊的第二幅模板圖像，以人臉圖像中左眼閉上的感興趣區域為代表鼠標左鍵雙擊的第三幅模板圖像，以人臉圖像中鼻子為主的感興趣區域為代表鼠標移動的第四幅模板圖像。

所述的步驟4）中預先設定的點擊閾值為0.8。

所述的步驟4）中預先設定的移動閾值為0.6。