[發明專利]視線跟蹤人機交互方法及裝置

無效

• 申請號: 200710099511.3
• 申請日: 2007-05-23
• 公開（公告）號: CN101311882A
• 公開（公告）日: 2008-11-26
• 發明（設計）人: 左坤隆
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00
• 代理公司: 北京同立鈞成知識產權代理有限公司
• 代理人: 劉芳

技術領域

本發明涉及人機交互方法及裝置，尤其涉及視線跟蹤人機交互方法及裝置，屬于人機交互領域。

背景技術

鍵盤、鼠標、游戲桿等設備提供了機器與操作者之間的通訊接口，實現了人機交互。近年來，隨著視線跟蹤技術的發展，基于視線跟蹤的鼠標模擬以及鍵盤模擬已在人機交互領域得以研究與應用，諸如輔助殘疾人士完成人機通訊，輔助航空駕駛員操作計算機等。在個人電腦上，視線跟蹤的結果可以控制鼠標指針的運動，從而可以替代鼠標實現人機交互的功能。在一些工業控制、航空應用場景或緊急狀況中，用戶的手可能都被用于操作除計算機外的其它控制機構，這時只有視線可以被用來操作計算機。

現有技術使用鼠標設備輔助實現跟蹤的人機交互過程。當需要進行目標選取時，用戶的視線落在需要選擇的目標上后，再按下鼠標鍵完成選擇。在移動一個目標時，用戶的視線落在需要選擇的目標上后，按下鼠標鍵選中該目標，然后用戶移動視線至一個新的位置，松開鼠標按鈕后目標即停留在新的位置。在實現本發明過程中，發明人發現該技術中至少存在如下問題：

(1)采用鼠標設備作為輔助輸入，在交互過程中使用手的運動來控制鼠標按下與松開的動作。這樣對于航空駕駛等特殊場合無法利用手進行操作的情況下就無法應用，一些手部無法動作的殘疾人也不能使用該系統。

(2)在把該系統用于公共設施時，由于需要接觸鼠標設備，從而增加了人群中傳染疾病的可能性。

目前還存在一種根據視線停留時間或眨眼選擇控制選項的方法。操作者在某處注視點停留達一定時間后，當前交互工作模式轉入精細調整模式。在該模式下，程序先記下當前光標點位置，然后屏幕上出現一個彈出菜單，包含“單擊、雙擊、左鍵、右鍵”等選項，然后視線控制光標移動到菜單中的某一項上，并停留一定時間或眨眼來選擇該項，從而實現“單擊、雙擊”等動作。在實現本發明過程中，發明人發現該方法中至少存在如下問題：

注視停留時間很難選擇較合適的值，若選擇較小的數值，則容易造成誤操作，因為當視線稍做停頓，就會出現彈出菜單，而操作者并不希望做任何動作，這種情況在一些特定操作中(如閱讀文章、觀看視頻等)尤其明顯。如果選擇較大的數值，則會延長操作指令的執行時間，大大降低交互的效率。另外，彈出菜單在很多場合也會影響操作者對屏幕內容的觀察?？傊@樣的交互協議會導致交互過程不夠人性化，效率也較低，容易產生誤操作。

發明內容

本發明實施例的目的在于提供一種非接觸且交互協議簡單的視線跟蹤人機交互方法及裝置。

為實現上述目的，本發明視線跟蹤人機交互方法的實施例中，包括：采集視線跟蹤信息，并根據所述視線跟蹤信息獲取視線焦點位置；采集面部圖像信息，并根據所述面部圖像信息識別出面部動作；根據所述視線焦點位置輸出與所述面部動作對應的控制指令。

為實現上述目的，本發明實現跟蹤人機交互裝置的實施例中，包括：視線跟蹤處理單元，用于進行視線跟蹤操作，所述視線跟蹤操作包括采集視線跟蹤信息并根據所述視線跟蹤信息獲取視線焦點位置；面部動作識別單元，用于采集面部圖像信息并根據所述面部圖像信息識別出面部動作；以及控制指令輸出單元，與所述視線跟蹤處理單元及所述面部動作識別單元分別連接，用于根據所述視線焦點位置輸出與所述面部動作對應的控制指令。

本發明實現跟蹤人機交互方法的實施例通過采集視線跟蹤信息獲取視線焦點位置，采集面部圖像信息識別出面部動作，最后根據所述視線焦點位置輸出與所述面部動作對應的控制指令；在整個過程中，由于操作者的手無需接觸鍵盤或鼠標或操作桿等外設，這樣使得航空駕駛等特殊場合無法利用手進行操作的情況下得以順利地應用，另還能夠方便一些手部無法動作的殘疾人；采用面部動作及視線焦點位置同時作為控制指令輸出的依據條件，使得交互協議簡單、控制指令的輸出更為準確。

本發明實現跟蹤人機交互裝置的實施例通過在原有視線跟蹤處理單元的基礎上增設面部動作識別單元，由控制指令輸出單元根據所述視線焦點位置輸出與所述面部動作對應的控制指令，實現了非接觸的控制方式，提高了用戶使用的舒適度，避免了公共設備使用過程中由于操作者的手接觸鍵盤或鼠標或操作桿等外設而造成的疾病的傳播。

附圖說明

圖1為本發明視線跟蹤人機交互方法的實施例一的流程圖；

圖2為面部動作A示意圖；

圖3為面部動作B示意圖；

圖4為面部動作C示意圖；

圖5為面部動作D示意圖；

圖6為本發明視線跟蹤人機交互方法的實施例二的流程圖；

圖7為本發明視線跟蹤人機交互方法的實施例三的流程圖；