[發明專利]一種基于人臉表情識別的鼠標控制方法

有效

• 申請號: 201310280227.1
• 申請日: 2013-07-04
• 公開（公告）號: CN103336577A
• 公開（公告）日: 2013-10-02
• 發明（設計）人: 肖慶國;葉慶衛;周宇;王曉東
• 申請（專利權）人: 寧波大學
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 寧波奧圣專利代理事務所(普通合伙) 33226
• 代理人: 周玨

1.一種基于人臉表情識別的鼠標控制方法，其特征在于包括以下步驟：

1）獲取模板圖像：通過攝像頭采集四幅具有不同特征的人臉圖像，然后對采集到的每幅人臉圖像進行灰度轉換和鏡像轉換處理，得到處理后的人臉圖像，再在每幅處理后的人臉圖像中設定一個具有顯著特征的感興趣區域，將每幅處理后的人臉圖像中的感興趣區域作為一幅模板圖像，并設定第一幅模板圖像用于代表鼠標左鍵單擊，第二幅模板圖像用于代表鼠標右鍵單擊，第三幅模板圖像用于代表鼠標左鍵雙擊，第四幅模板圖像用于代表鼠標移動；

2）實時獲取待匹配的人臉圖像：通過攝像頭實時捕獲人臉圖像，對實時捕獲到的人臉圖像進行灰度轉換和鏡像轉換處理，得到待匹配的人臉圖像；

3）獲取待匹配的人臉圖像與每幅模板圖像之間的相似度：利用歸一化互相關方法對待匹配的人臉圖像與每幅模板圖像進行互相關處理，得到每幅模板圖像對應的互相關矩陣，將第一幅模板圖像對應的互相關矩陣中的最大值作為待匹配的人臉圖像與第一幅模板圖像之間的第一相似度，將第二幅模板圖像對應的互相關矩陣中的最大值作為待匹配的人臉圖像與第二幅模板圖像之間的第二相似度，將第三幅模板圖像對應的互相關矩陣中的最大值作為待匹配的人臉圖像與第三幅模板圖像之間的第三相似度，將第四幅模板圖像對應的互相關矩陣中的最大值作為待匹配的人臉圖像與第四幅模板圖像之間的第四相似度；

4）判定將對鼠標執行的操作：首先，找出第一相似度、第二相似度和第三相似度中的最大相似度；其次，根據最大相似度和第四相似度，判定將對鼠標執行的動作指令，具體過程為：如果最大相似度大于或等于預先設定的點擊閾值，且第四相似度小于預先設定的移動閾值，則判定將對鼠標執行點擊操作，然后按照最大相似度對應的模板圖像所代表的鼠標動作來執行具體的點擊動作，即當最大相似度對應第一幅模板圖像時執行鼠標左鍵單擊的動作，當最大相似度對應第二幅模板圖像時執行鼠標右鍵單擊的動作，當最大相似度對應第三幅模板圖像時執行鼠標左鍵雙擊的動作；如果第四相似度大于或等于預先設定的移動閾值，且最大相似度小于預先設定的點擊閾值，則判定將對鼠標執行移動操作；如果最大相似度大于或等于預先設定的點擊閾值，且第四相似度大于或等于預先設定的移動閾值，則判定將對鼠標執行持續在移動的同時保持左鍵持續按壓狀態的拖拽動作；

5）控制鼠標執行操作：根據第一相似度、第二相似度、第三相似度和第四相似度在各自所對應的互相關矩陣中的位置，得到第一相似度、第二相似度、第三相似度和第四相似度各自所對應的到互相關矩陣的中心位置的橫向矢量位移和縱向矢量位移；當判定結果為將對鼠標執行移動操作時，利用正割函數將第四相似度所對應的橫向矢量位移和縱向矢量位移的數值限定在（-1,1）之間，然后再分別乘以鼠標的靈敏度后傳入鼠標控制API函數中，執行相應的鼠標移動動作；當判定結果為將對鼠標執行點擊操作時，將第一相似度、第二相似度、第三相似度各自所對應的互相關矩陣的中心位置的橫向矢量位移和縱向矢量位移均設置為0，然后根據左鍵單擊、右鍵單擊及左鍵雙擊的指令分別設定對應的鼠標控制API函數中的參數。

2.根據權利要求1所述的一種基于人臉表情識別的鼠標控制方法，其特征在于所述的步驟1）中以人臉圖像中嘴巴張開的感興趣區域為代表鼠標左鍵單擊的第一幅模板圖像，以人臉圖像中右眼閉上的感興趣區域為代表鼠標右鍵單擊的第二幅模板圖像，以人臉圖像中左眼閉上的感興趣區域為代表鼠標左鍵雙擊的第三幅模板圖像，以人臉圖像中鼻子為主的感興趣區域為代表鼠標移動的第四幅模板圖像。

3.根據權利要求1所述的一種基于人臉表情識別的鼠標控制方法，其特征在于所述的步驟4）中預先設定的點擊閾值為0.8。

4.根據權利要求1所述的一種基于人臉表情識別的鼠標控制方法，其特征在于所述的步驟4）中預先設定的移動閾值為0.6。