[發明專利]一種基于腦電和眼電的多模態字符輸入系統及方法

在審

• 申請號: 202011074925.2
• 申請日: 2020-10-09
• 公開（公告）號: CN112328072A
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 潘家輝;唐秀雯;李享運;陳廣源;王帆
• 申請（專利權）人: 華南師范大學
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 廣州駿思知識產權代理有限公司 44425
• 代理人: 吳靜芝

本發明涉及一種基于腦電和眼電的多模態字符輸入系統及方法，包括：用于顯示字符并對所述字符的閃爍進行控制的刺激顯示單元；用于采集腦電信號并對其進行預處理，最后將其封裝成腦電封裝數據的信號采集單元；用于對所述腦電封裝數據進行解析及信號識別，并根據所述信號識別的識別結果輸出控制指令的信號分析單元；以及用于顯示輸出結果的結果輸出單元；所述控制指令包括用以控制字符的選擇和撤回的眨眼指令以及用以控制系統的暫停和恢復的閉眼指令；所述刺激響應模塊采用基于拼音音節的選項編碼方式來設計刺激范式。本發明控制源原理簡單，信號采集成本低且系統實用性高，同時具有較高的輸入速率和正確率。

技術領域

本發明涉及生理醫學信號處理及人機交互領域，特別是涉及一種基于腦電和眼電的多模態字符輸入系統及方法。

背景技術

世界上數以百萬計的人患有重度運動功能疾病，如中風、脊椎損傷、肌萎縮側索硬化癥等。重度運動障礙疾病患者，除了視覺和眼周肌肉外，機體的各運動系統均受到不同程序的損害，無法進行自主運動，該類患者基本喪失了與外界交流的能力。盡管目前的醫療水平在不斷提高，可以幫助運動神經受損的患者延長生命，但是由于他們不能自主地與外界進行通訊，生活質量沒有得到提高，也給家庭和社會帶來了負擔。

無障礙人機交互為這類失去運動能力的殘疾人提供了一種與外界進行交互的可用替代操控手段。無障礙技術主要研究的是如何幫助殘疾人自由的參與社會活動，而人機交互系統研究的是關于設計、評價和實現供人們使用的交互計算系統及其相關現象。無障礙的人機交互系統,是一種不須依靠肢體進行信息交流的新型人機接口系統,能讓使用者依靠自己的意念,獨立的與外界進行信息交流。以生物電為信息載體的無障礙人機交互技術是一種利用生物電信號取代傳統硬件接口，使用戶完成與外部設備進行交互通信的技術。由于生物電信號中富含人體活動信息，基于生物電信號的人機交互可以有效地反應人們真實的活動意圖，幫助重度運動障礙患者克服與外界交流和使用計算機等信息技術設備的困難，為患有特定疾病或疾病的人提供接近程度的使用機會。

目前基于生物電的字符輸入系統已經有了一些較為成熟的成果，但也存在不足：

字符輸入速率高、正確率高的系統往往采用了多電極或精度高的采集設備，成本十分昂貴。大多數運動障礙疾病患者家庭在每日醫療已經耗費大量資金，無力支付設備費用。該類系統只能處于實驗室階段，無法在日常生活中普遍應用；

若采用低成本設備采集腦電信號，在精度不足的情況下使用相同研究方法開發系統則會導致系統正確率低下，無法達到應用水平，不具有實用性。

發明內容

基于此，本發明的目的在于，提供一種基于腦電和眼電的多模態字符輸入系統，該系統組合眼電信號和腦電信號實現多模態控制，彌補了單一信號源的缺陷，降低成本的同時又能增強系統的實用性。

一種基于腦電和眼電的多模態字符輸入系統，包括：

用于顯示字符輸入所用到的字符，對所述字符的閃爍進行控制的刺激顯示單元；

用于采集腦電信號以獲取原始采集信號，對所述原始采集信號進行處理以獲取濾波腦電信號，并將所述濾波腦電信號封裝成腦電封裝數據的信號采集單元；

用于對所述腦電封裝數據進行解析及信號識別，并根據所述信號識別的識別結果輸出控制指令的信號分析單元；以及

用于接收來自信號分析單元的所述控制指令，根據所述控制指令，并結合所述刺激顯示單元中正在閃爍的字符，顯示相應的輸出結果的結果輸出單元；

所述控制指令包括眨眼指令和閉眼指令，以所述眨眼指令來控制字符的選擇和撤回，以所述閉眼指令控制系統的暫停和恢復；

所述刺激響應模塊采用基于拼音音節的選項編碼方式來設計刺激范式。