[發明專利]基于腦電眼電結合的鍵鼠控制系統及控制方法

在審

• 申請號: 202011642053.5
• 申請日: 2020-12-31
• 公開（公告）號: CN112764532A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 賀慶;張云;劉博
• 申請（專利權）人: 北京信息科技大學;北京數采精儀科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/023;G06F3/038
• 代理公司: 北京知呱呱知識產權代理有限公司 11577
• 代理人: 張永維

本發明實施例公開了基于腦電眼電結合的鍵鼠控制系統及控制方法，該控制系統包括：頭戴設備，用于獲取腦電極和眼電極提供的腦電信號和眼電信號；預處理模塊，用于對腦電信號和眼電信號進行預處理得到腦電模擬信號和眼電模擬信號；模數轉換模塊，用于將腦電模擬信號和眼電模擬信號轉換為腦電數字信號和眼電數字信號；處理器，用于根據眼電數字信號和腦電數字信號得到眼動狀態和腦電分析結果；第一通信模塊，用于將眼動狀態和腦電分析結果發送給電腦端，以便電腦端根據眼動狀態和腦電分析結果進行鍵鼠控制。本發明通過人眼動作實現屏幕光標和點擊的操作，替代傳統鼠標控制，通過注視閃爍按鍵所激發的腦電信號實現屏幕按鍵操作，替代傳統鍵盤控制。

技術領域

本發明實施例涉及人機交互技術領域，具體涉及基于腦電眼電結合的鍵鼠控制系統及控制方法。

背景技術

電腦在具有上網，購物，讀書，看視頻，聊天等多種功能，早已成為現代人們生活必不可少的重要工具。然而目前電腦絕大部分功能需要用鼠標和鍵盤來操作，這無疑給手部殘疾患者、老年帕金森患者和漸凍人帶來嚴重不便。即使是普通人，在進行雙手勞作或雙手污濁時，也不便于使用電腦。如何提出一種電腦的人機交互方案，能夠方便用戶進行電腦的操作，是本領域技術人員亟待解決的技術問題。

公開號為CN106775023A的專利，提出了一種眼電信號采集方法及基于眼電信號控制的藍牙鼠標系統，可以實現眼電信號控制鼠標的移動和單擊。該方案的通過眼睛向不同方向看，轉變為對藍牙鼠標的移動；將連續兩次眨眼轉變為停止移動或確定操作。在實際電腦應用中，用戶僅使用鼠標控制往往是不足夠和不方便的，很多時候要采用鍵盤與鼠標共同完成操作。而該發明沒有考慮鍵盤的實現方案。同時該發明沒有考慮鼠標雙擊和右鍵的功能，進一步限制了實用性。藍牙通信方式盡管實現簡單，成本低廉，但是限制了通信距離和通信效率。另一方面，人與人的眼電信號特征差別很大，在實際使用前，往往需要針對特定用戶進行校準。

當人眼注視一個恒定頻率(通常大于6Hz)的刺激源時，這種刺激會激發大腦視皮層的腦電信號，產生相關頻率的腦電響應，稱為SSVEP(穩態視覺誘發電位)。SSVEP(穩態視覺誘發電位)和ERP(事件相關電位)是兩種典型的腦電信號。二者同為視覺誘發范式，且SSVEP是隨外界刺激自發產生的，而ERP電位屬于認知電位，因此二者的信號間不存在機理性沖突。可以單獨使用，也可以結合使用提供信號識別效率。公開號為CN 108681391A的專利公開了一種SSVEP與顏色刺激的ERP信號結合的虛擬鍵盤。該發明采用ERP的N1，P2信號作為虛擬鍵盤的行坐標，SSVEP作為虛擬鍵盤的列坐標，對鍵盤進行定位選擇。然而，采用的SSVEP頻率較少，可實現的指令總數受到限制。另外ERP的N1，P2信號相對比較微弱，影響識別準確度。

P300是ERP信號的成分之一，它是當小概率事件發生后，腦電信號在刺激呈現后的300ms時出現的正向波峰。相對N1，P2信號而言，P300具有更好的穩定性和識別準確度。現有公開號為CN 107656612 B的專利，公開了一種基于P300-SSVEP的大指令集腦-機接口方法，首次提出了108個指令集的誘發策略，提高了指令集數量和信息傳輸率。然而該方法需要兩臺計算機配合完成，且需要借助國外腦電采集設備，在實際應用中受到設備限制。且該方法僅僅依靠腦電進行指令的選擇，沒有借助眼動對指令集進行預選擇。

發明內容

本發明實施例的目的在于提供基于腦電眼電結合的鍵鼠控制系統及控制方法，用戶可通過眼部活動，替代鼠標鍵盤實時操作電腦，能夠方便用戶進行電腦的操作，解放雙手。

為實現上述目的，本發明實施例主要提供如下技術方案：

第一方面，本發明實施例提供了一種基于腦電眼電結合的鍵鼠控制系統，包括：

頭戴設備，用于獲取腦電極和眼電極提供的腦電信號和眼電信號；

預處理模塊，用于對所述腦電信號和所述眼電信號進行預處理得到腦電模擬信號和眼電模擬信號；