[發明專利]基于腦電眼電結合的鍵鼠控制系統及控制方法

在審

• 申請號: 202011642053.5
• 申請日: 2020-12-31
• 公開（公告）號: CN112764532A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 賀慶;張云;劉博
• 申請（專利權）人: 北京信息科技大學;北京數采精儀科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/023;G06F3/038
• 代理公司: 北京知呱呱知識產權代理有限公司 11577
• 代理人: 張永維

1.一種基于腦電眼電結合的鍵鼠控制系統，其特征在于，包括：

頭戴設備，用于獲取腦電極和眼電極提供的腦電信號和眼電信號；

預處理模塊，用于對所述腦電信號和所述眼電信號進行預處理得到腦電模擬信號和眼電模擬信號；

模數轉換模塊，用于將所述腦電模擬信號和所述眼電模擬信號進行同步采集，并轉換為腦電數字信號和眼電數字信號；

處理器，用于根據所述腦電數字信號和所述眼電數字信號進行消噪和端點檢測，所述處理器根據所述眼電數字信號和所述腦電數字信號得到眼動狀態和腦電分析結果；

第一通信模塊，用于將所述眼動狀態和所述腦電分析結果發送給電腦端，以便所述電腦端根據所述眼動狀態和所述腦電分析結果進行鍵鼠控制。

2.根據權利要求1所述的基于腦電眼電結合的鍵鼠控制系統，其特征在于，所述頭戴設備還包括慣性傳感器；所述慣性傳感器用于獲取用戶的頭部運動信息和姿勢信息；所述處理器還用于利用所述頭部運動信息和姿勢信息補償眼電計算結果。

3.根據權利要求1所述的基于腦電眼電結合的鍵鼠控制系統，其特征在于，所述頭戴設備還包括右腿驅動電路；所述右腿驅動電路的輸入端與模數轉換器、預處理通道或處理器相連，輸出端饋入人體耳垂或乳突處，以提高信號采集的共模抑制能力。

4.根據權利要求1所述的基于腦電眼電結合的鍵鼠控制系統，其特征在于，所述頭戴設備通過導聯與腦電極和眼電極相連，所述導聯為單極導聯或雙極導聯。

5.根據權利要求1所述的基于腦電眼電結合的鍵鼠控制系統，其特征在于，所述預處理模塊包括：

保護器件，用于保護后級電路作用，防護人體靜電對于后級電路的擊穿和/或干擾；

放大器，用于對輸入的所述腦電信號和眼電信號進行信號放大；

濾波器，用于濾除所述腦電信號和眼電信號中的干擾信號；

基線調整電路，用于將所述腦電模擬信號和所述眼電模擬信號的中心調整到便于模數轉換器采集的幅度。

6.根據權利要求3所述的基于腦電眼電結合的鍵鼠控制系統，其特征在于，所述模數轉換模塊還用于輸出一路偏移驅動信號，饋入所述右腿驅動電路。

7.根據權利要求1所述的基于腦電眼電結合的鍵鼠控制系統，其特征在于，所述第一通信模塊包括藍牙模塊、WIFI模塊或5G通信模塊中的至少一種；

所述電腦端通過第二通信模塊與所述頭戴設備通信連接；

所述電腦端設有攝像頭，所述攝像頭用于對人臉和/或人眼進行識別，以判斷不同的用戶，并采用相對應的特征向量；當判斷用戶的眼部看向終端屏幕時，執行控制動作，當判斷用戶的眼部沒有看向所述終端屏幕時，暫停執行動作。

8.一種基于腦電眼電結合的鍵鼠控制方法，應用于如權利要求1至7任一項所述的基于腦電眼電結合的鍵鼠控制系統，其特征在于，包括：

根據眼動狀態控制鼠標動作；

在所述電腦端的屏幕上提供虛擬鍵盤，所述虛擬鍵盤分為左上、左下、右上、右下四個區域，每個區域分別設置有虛擬按鍵；

根據用戶眼動看向包含所欲輸入鍵值的區域，在所述屏幕中放大且區域內的各虛擬按鍵依次按不同頻率閃爍和/或出現；

根據用戶看向所欲輸入鍵值的虛擬按鍵，誘發人腦產生相應頻率的SSVEP腦電和/或P300腦電信號；

通過檢測腦電信號特征可以確定用戶所欲輸入的鍵值。

9.根據權利要求8所述的基于腦電眼電結合的鍵鼠控制方法，其特征在于，所述電腦端還包括映射模塊，用于將眼動狀態和腦電分析結果映射為對所述電腦的預設操作；

將與眼球向目標方向的轉動對應的第一眼動狀態結果，映射為鼠標光標在電腦上目標方向的移動；

將與有意識眨眼動作對應的第二眼動狀態結果，映射為對所述電腦的點擊；

將腦電中的SSVEP和/或P300信號，映射為對電腦端驅動程序中的虛擬鍵盤相應鍵格執行按鍵操作。

10.根據權利要求8所述的基于腦電眼電結合的鍵鼠控制方法，其特征在于，還包括：

使用前對人眼動作和腦電信號進行校準，剔除個體差異；

在正式使用時，利用校準信號對檢測信號進行修正，得到用戶真實的眼動和腦電狀態。