[發(fā)明專利]一種眼控鼠標實現(xiàn)方法及識別眼動軌跡實現(xiàn)鍵盤輸入方法

有效

• 申請?zhí)枺?/td>: 202010428089.7
• 申請日: 2020-05-20
• 公開（公告）號: CN111580674B
• 公開（公告）日: 2023-07-21
• 發(fā)明（設計）人: 賀輝
• 申請（專利權）人: 北京師范大學珠海分校
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/023;G06F3/04812;G06N3/0464
• 代理公司: 珠海飛拓知識產(chǎn)權代理事務所(普通合伙) 44650
• 代理人: 劉利芬

本發(fā)明公開了一種眼控鼠標實現(xiàn)方法及識別眼動軌跡實現(xiàn)鍵盤輸入方法，首先從網(wǎng)絡攝像頭讀取一幀分辨率為640*480圖像，經(jīng)過人眼定位跟蹤，人眼預處理等操作后，將預處理后的人眼圖像輸入卷積神經(jīng)網(wǎng)絡中以粗略預測人眼在電腦屏幕上的注視點然后利用該預測結果，使用三種鼠標移動方式，可以將鼠標光標精準移動到目標物體上并用類似眨眼的方式觸發(fā)點擊操作；提出了一種識別眼動軌跡實現(xiàn)鍵盤打字的方法，設計了打字的流程，設計了91種鍵盤鍵位對應的視線軌跡，可基本實現(xiàn)鍵盤上所有按鍵的輸入。本發(fā)明可利用視線追蹤不精確的定位結果，完成計算機上精確的交互，還可代替硬件鍵盤和鼠標；交互所需的額外采集設備為一個單目網(wǎng)絡攝像頭，成本低易獲得。

【技術領域】

本發(fā)明涉及屬于視覺跟蹤技術領域，具體涉及一種眼控鼠標實現(xiàn)方法及識別眼動軌跡實現(xiàn)鍵盤輸入方法。

【背景技術】

現(xiàn)有的已經(jīng)市場化的眼動儀技術成熟、精度高。完全可以滿足所有的眼動研究以及眼動交互任務。但是眼動儀的價格通常在千元級別，設備比較昂貴。

科研人員研制的低成本硬件能解決特定人群的部分需求，但封閉的研發(fā)過程使得他們的技術不易普及。

一款簡單、便捷且大多數(shù)人都容易獲得的眼動交互技術有待開發(fā)。相較于昂貴的眼動儀，價格低廉的網(wǎng)絡攝像頭更易獲得，大多數(shù)筆記本電腦就自帶前置網(wǎng)絡攝像頭，可以提供現(xiàn)成的設備環(huán)境。

本發(fā)明的目的是利用最簡單的網(wǎng)絡攝像頭作為眼動數(shù)據(jù)的采集設備。使用卷積神經(jīng)網(wǎng)絡粗略估計人眼視線方向，并提出一種可以高精度移動鼠標光標的方法，和一種采用視線軌跡的鍵盤輸入方法，完成計算機上大部分常規(guī)輸入功能。使普通人在使用計算機時能夠解放雙手，肢體障礙人士無需四肢就可以操控計算機。

【發(fā)明內容】

為解決上述問題，本發(fā)明提出了一種眼控鼠標實現(xiàn)方法及識別眼動軌跡實現(xiàn)鍵盤輸入方法。

本發(fā)明的技術方案如下：

本發(fā)明粗略定位注視點所使用到的卷積神經(jīng)網(wǎng)絡是一個比較普通的網(wǎng)絡結構，只做了參數(shù)和結構上的優(yōu)化，使之其誤差盡可能的減少。

不過由于這種神經(jīng)網(wǎng)絡預測人眼視線的方法是基于一個低分辨率平面圖像的，與眼動儀這種能夠獲取瞳孔立體信息的設備相比誤差較大，抖動范圍也很大。難以穩(wěn)定預測注視點完成操作鼠標和輸入字符這種高精度的操作。所以基本沒有研究人員利用這種方法來分析人眼焦點或是做交互應用的研究。因此本發(fā)明的創(chuàng)新點就是提出了使用低分辨率圖像的卷積神經(jīng)網(wǎng)絡視線追蹤方式在計算機上的交互辦法：

1、利用視線追蹤不精準的預測結果，提出了三種鼠標移動方式，可以精準移動到目標物體上。

2、提出了一種識別眼動軌跡實現(xiàn)鍵盤打字的方法，設計了打字的流程，設計了91種鍵盤鍵位對應的視線軌跡，可基本實現(xiàn)鍵盤上所有按鍵的輸入。

本發(fā)明的技術方案如下：

一、一種眼控鼠標實現(xiàn)方法，包括以下步驟；

(1)從網(wǎng)絡攝像頭讀取一幀分辨率為640*480圖像，包含使用者的正臉。經(jīng)過人眼定位跟蹤，人眼預處理等操作后，得到最終作為識別和分析的人眼圖像；

(2)將預處理后的人眼圖像作為輸入，首先經(jīng)過兩個卷積層進行卷積操作。卷積層用到20個卷積核，尺寸為(5，5)，步長為(1，1)，激活函數(shù)為Relu。在卷積提取特征完畢以后，經(jīng)過池化層，池化層的尺寸為(2，2)，步長為(2，2)，隨后將兩張圖片的特征進行融合，經(jīng)過全鏈接層，激活函數(shù)tanh，得到兩個輸出參數(shù)，即預測的注視點在屏幕上的坐標x,y歸一值。此外，也可采用其他主流的基于外觀的注視估計辦法來對視線的方向進行預測，預測所需的數(shù)據(jù)需要預處理后的人眼圖像，也可能需要人臉姿態(tài)，角度等參數(shù)。但預測得出的結果都為預測的注視點在屏幕上的坐標x,y歸一值。