[發(fā)明專利]一種眼控鼠標實現(xiàn)方法及識別眼動軌跡實現(xiàn)鍵盤輸入方法

有效

• 申請?zhí)枺?/td>: 202010428089.7
• 申請日: 2020-05-20
• 公開（公告）號: CN111580674B
• 公開（公告）日: 2023-07-21
• 發(fā)明（設(shè)計）人: 賀輝
• 申請（專利權(quán)）人: 北京師范大學(xué)珠海分校
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/023;G06F3/04812;G06N3/0464
• 代理公司: 珠海飛拓知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44650
• 代理人: 劉利芬

1.一種眼控鼠標實現(xiàn)方法，其特征在于：所述眼控鼠標的方法包括以下步驟；

(1)從網(wǎng)絡(luò)攝像頭讀取一幀分辨率為640*480圖像，包含使用者的正臉；經(jīng)過人眼定位跟蹤，人眼預(yù)處理操作后，得到最終作為識別和分析的人眼圖像；

(2)將預(yù)處理后的人眼圖像作為輸入，首先經(jīng)過兩個卷積層進行卷積操作，卷積層用到20個卷積核，尺寸為(5，5)，步長為(1，1)，激活函數(shù)為Relu；在卷積提取特征完畢以后，經(jīng)過池化層，池化層的尺寸為(2，2)，步長為(2，2)，隨后將兩張圖片的特征進行融合，經(jīng)過全鏈接層，激活函數(shù)tanh，得到兩個輸出參數(shù)，即預(yù)測的注視點在屏幕上的坐標x,y歸一值；

(3)第(2)步視線追蹤預(yù)測結(jié)果在屏幕上會存在平均2cm的誤差，直接設(shè)置鼠標光標在該坐標位置上抖動范圍會很大，無法選擇點擊較小的目標，需采用交互用的鼠標光標移動的方法，有效控制光標移動的路線，并最終將它移動至使用者想要點擊的目標位置處，使用其他方法觸發(fā)鼠標點擊；

上述用到的鼠標光標移動的方法有三種，分別是：凝視移動方法、相對中心移動方法和遙控移動方法；

凝視移動方法的功能是設(shè)置鼠標光標的初始位置，使鼠標光標基本移動到目標物體的附近：以目標物體為圓心，半徑為2cm；

相對中心移動算法和遙控移動方法都是用來微調(diào)鼠標的位置，使鼠標光標可以精確地調(diào)整至目標物體上，從而進行點擊操作；

鼠標移動方法的選擇根據(jù)視線追蹤誤差大小的情況和使用者的習(xí)慣下來進行設(shè)置：

1)如在視線追蹤誤差較大的情況下，需要先使用凝視移動來將鼠標調(diào)整到目標物體附近的位置；如果鼠標此時已經(jīng)落在目標物體上，則直接眨眼觸發(fā)鼠標點擊；如果是落在目標物體附近，則使用相對中心移動或遙控移動，來細微調(diào)整鼠標的位置到目標物體上；

2)相對于相對中心移動和遙控移動，凝視移動是一種比較粗略的移動方法，所以不會在使用相對中心移動或遙控移動之后，再使用凝視移動的方法；

用幀數(shù)來記錄時間，隨幀數(shù)的增加，鼠標位置計算選擇的移動方法可按如下變化：

第0～5幀：直接設(shè)置鼠標位置在視線追蹤的預(yù)測點上；

第6～105幀：使用凝視移動方法；

第106～115幀：鼠標位置暫時確定，無法移動鼠標；

第116幀以后：根據(jù)使用者習(xí)慣，可用相對中心移動方法或是遙控移動方法調(diào)整鼠標位置；

此外，如識別到使用者單眼眨眼時不移動光標；如識別到使用者雙眼眨眼0.5秒以上時重置幀計數(shù)為0，重新開始一個鼠標光標的位置調(diào)整；

所述凝視移動方法具體操作為：

鼠標不直接移動至視線預(yù)測點，而往視線預(yù)測點的方向進行修正，假設(shè)鼠標位置與預(yù)測點位置的距離為L₁，則將鼠標往預(yù)測點方向移動D₁的距離；D₁的計算公式如式(5.1)：

D₁＝L₁×W₁??(5.1)；

其中W₁為修正的權(quán)重，W₁越小鼠標移動得越慢，抖動越小，越穩(wěn)定；

隨著幀數(shù)的增加，將決定鼠標移動距離和穩(wěn)定性的W₁逐漸減小，移動的距離D₁隨之減小，鼠標會慢慢穩(wěn)定下來；當(dāng)W₁減小至零時，移動距離D₁也變?yōu)榱悖髽瞬辉僖苿樱?/p>

假設(shè)W₁初始值為W_a，規(guī)定從0開始經(jīng)過F_b個幀數(shù)后鼠標將不再移動，W₁的數(shù)值隨幀數(shù)F(0FF_b)線性變化的函數(shù)式如(5.2)所示；參考可取W_a＝0.1，F(xiàn)_b＝100：

所述相對中心移動方法是在鼠標當(dāng)前的位置已經(jīng)距離目標物體不遠時，使用該方法微調(diào)鼠標的位置；

鼠標的移動方式為向預(yù)測點相對屏幕中心的方向移動，計算屏幕中心坐標與預(yù)測的注視點之間的距離L2，預(yù)測點相對屏幕中心在什么方向，鼠標就往其平行的方向移動D2的距離；D2的計算公式如式(5.3)：

D₂＝L₂×W₂??(5.3)；

同樣有一個控制移動距離的權(quán)重W2，權(quán)重W2不隨時間變化，而是依據(jù)具體情況設(shè)置具體數(shù)值，可取W2＝0.005；

所述遙控移動方法的功能是在鼠標當(dāng)前的位置已經(jīng)距離目標物體不遠時微調(diào)鼠標的位置；類似遙控器的左右上下四個方向鍵，鼠標只能在上下左右四個方向移動；將屏幕分成上下左右四個區(qū)域，當(dāng)預(yù)測點出現(xiàn)在哪個區(qū)域，鼠標就往對應(yīng)的方向進行移動，預(yù)測點出現(xiàn)在上方的區(qū)域，預(yù)測點與屏幕中心的y軸距離為L3，于是將鼠標向上移動D3個像素距離；控制移動距離的權(quán)重W3；權(quán)重W3也不隨時間變化，而是依據(jù)具體情況設(shè)置具體數(shù)值，可取W3＝0.005：D3的計算公式如式(5.4):

D₃＝L₃×W₃??(5.4)。