[發明專利]一種基于腦電和眼電的多模態字符輸入系統及方法

在審

• 申請號: 202011074925.2
• 申請日: 2020-10-09
• 公開（公告）號: CN112328072A
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 潘家輝;唐秀雯;李享運;陳廣源;王帆
• 申請（專利權）人: 華南師范大學
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 廣州駿思知識產權代理有限公司 44425
• 代理人: 吳靜芝

1.一種基于腦電和眼電的多模態字符輸入系統，其特征在于：包括：

刺激顯示單元，用于顯示字符，并控制所述字符的閃爍；

信號采集單元，用于采集使用者的腦電信號并進行預處理，然后封裝成腦電封裝數據；

信號分析單元，用于對所述腦電封裝數據進行解析及信號識別，并根據所述信號識別的識別結果輸出控制指令；所述控制指令包括眨眼指令和閉眼指令，所述眨眼指令控制字符的選擇和撤回，所述閉眼指令控制系統的暫停和恢復；以及

結果輸出單元，用于接收來自信號分析單元的控制指令，同時結合所述刺激顯示單元中當前正在閃爍的字符，輸出相應的結果。

2.根據權利要求1所述的基于腦電和眼電的多模態字符輸入系統，其特征在于：所述信號采集單元包括信號提取芯片、信號預處理模塊以及數據封裝模塊；

所述信號提取芯片為單通道EEG提取芯片，其測量使用者的前額測量腦電信號，以獲取原始采集信號；

所述信號預處理模塊采用快速傅里葉變換將所述原始采集信號從時間域轉換到頻率域，并對所述轉換到頻域中的信號進行頻譜分析、濾波、放大，再進行傅里葉逆變換將所述頻域中的信號復原為時域信號，以獲取濾波腦電信號；

所述數據封裝模塊將所述濾波腦電信號封裝成一預設格式數據包，所述數據包包括不同頻率段的腦波信號、專注度以及冥想度，所述數據包構成所述腦電封裝數據。

3.根據權利要求2所述的基于腦電和眼電的多模態字符輸入系統，其特征在于：所述信號分析單元包括數據解析模塊、信號識別模塊以及信號學習模塊；

所述數據解析模塊用于對所述腦電封裝數據進行解析以獲取目標數據，所述目標數據包括所述濾波腦電數據以及腦電Alpha波數據；

所述信號學習模塊用于計算并記錄使用者的目標信號的數據閾值，所述目標信號包括預設的腦電信號以及預設的眼電信號，所述數據閾值包括閉眼Alpha閾值和眨眼閾值；

所述信號識別模塊將所述目標數據與相應的目標信號的數據閾值相比較，從而識別出相應的目標信號；

當所述目標信號被識別為所述預設的腦電信號時，所述信號識別模塊輸出一閉眼指令；當所述目標信號被識別為所述預設的眼電信號時，所述信號識別模塊輸出一眨眼指令。

4.根據權利要求3所述的基于腦電和眼電的多模態字符輸入系統，其特征在于：所述刺激顯示單元包括用于顯示字符的刺激范式界面；

所述刺激范式界面包括一級界面、二級界面、三級界面及四級界面；

所述一級界面為音節集合，所述音節集合依據漢字的拼音特點劃分成3個待選選項，分別為聲母集合、韻母集合以及整體認讀音節集合；

所述二級界面為具體的音節選擇界面，使用者可從所述二級界面中進入所述一待選選項中并選擇具體的音節；

所述三級界面為所述韻母集合界面，使用者可在所述三級界面中選擇符合語法規則的韻母；

所述四級界面為所述韻母集合界面，使用者可在所述四級界面中選擇追加音節或者直接結束。

5.根據權利要求4所述的基于腦電和眼電的多模態字符輸入系統，其特征在于：所述刺激顯示單元還包括閃爍控制模塊，所述閃爍控制模塊用于對所述刺激范式界面中的字符的閃爍進行控制；

所述一級界面采用每次僅閃爍一個選項的閃爍范式，對所述3個待選選項按順序依次閃爍；

所述二級界面劃分成3個區域，不同區域內各選擇一字符形成一個組合，所述組合內的各字符以極小的時間間距先后閃爍，所述組合內的各字符都閃爍完畢后，所述閃爍控制模塊更換所述組合內的字符并再次進行閃爍，如此反復，直到判定檢測到眨眼信號的兩次所述組合內包括同一字符為止；

所述三級界面以及所述四級界面采用每次僅閃爍一個選項的閃爍范式，優先選擇構成常用字的音節進行閃爍。