[發明專利]一種基于腦信號與語音相結合的字符輸入方法

有效

• 申請號: 202110068292.2
• 申請日: 2021-01-19
• 公開（公告）號: CN112698729B
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 李遠清;高天毅;瞿軍
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F18/213;G06F18/241;G10L15/22;G10L15/26
• 代理公司: 北京中濟緯天專利代理有限公司 11429
• 代理人: 謝建華

1.一種基于腦信號與語音相結合的字符輸入方法，系統由誘發刺激模塊、信號采集模塊、信號分析模塊和控制模塊四部分組成；其特征在于：本方法的具體步驟如下：

(1)系統初始化：用戶戴上電極帽，打好導電膏，將電極帽連接上放大器，將放大器連接到電腦上，啟動腦電采集軟件，設置好參數；將麥克風連接到電腦上；

(2)腦信號輸入：啟動誘發刺激模塊的刺激范式界面，開始訓練數據的采集；在每個字符的拼寫過程中，P300按鈕會閃爍n輪(round)，在每個round中44個P300按鈕會按照隨機的次序閃爍1次；信號分析模塊對采集到的頭皮腦電信號進行帶通濾波，然后取每個P300按鈕閃爍刺激開始后的600ms作為采樣點來進行P300檢測，這段數據稱為一個epoch，再對每個epoch以6倍的下采樣率進行下采樣，將對應于每個P300按鈕閃爍的下采樣后得到的數據連接構成一個特征向量，之后再將n次采集所得的所有P300按鈕閃爍對應的特征向量進行分類識別，以確定使用者想要選擇的目標；

(3)語音信號輸入：利用(2)中的方法引導用戶選中界面中的麥克風按鈕開啟語音輸入，當檢測到有語音信號輸入時，利用多線程技術同步技術同時開啟語音識別，當檢測到2s內沒有語音輸入之后自動停止語音識別，并輸出語音識別結果；還有部分控制是利用語音喚醒功能實現的，當漢字拼寫完待選擇的時候，當前顯示的五個選項中沒有目標漢字，那么使用者可以通過語音輸入“下一頁”切換到下一頁的五個選項，同樣可以通過語音輸入“上一頁”切換回去；當語音識別一段話的結果出現部分偏差的時候，可以利用語音輸入“上移”、“下移”、“左移”、“右移”來移動閃爍的光標，將光標快速定位到識別錯誤的地方然后再修改；

(4)結果輸出：腦信號和聲音信號經過分析之后得到的結果，通過消息機制發送到指定窗口所在線程的消息隊列中，等到對應窗口線程讀到這條消息時再將該消息轉換為字符顯示在窗口中的文本輸入框內顯示。

2.根據權利要求1所述的一種基于腦信號與語音相結合的字符輸入方法，其特征在于：誘發刺激模塊采用單字符刺激范式，即在某一個字符開始閃爍一段時間后才開始閃爍下一個字符；刺激范式仿照電腦鍵盤設計，具有中、英、符三種輸入狀態，滿足了大部分用戶的信息交互需求。

3.根據權利要求1所述的一種基于腦信號與語音相結合的字符輸入方法，其特征在于：信號采集模塊根據輸入方法分為腦信號采集和語音信號采集；腦信號采集使用了一頂32通道的電極帽、一臺放大器和一臺計算機；語音信號采集使用的是一個麥克風和一臺計算機。

4.根據權利要求1所述的一種基于腦信號與語音相結合的字符輸入方法，其特征在于：信號分析模塊主要包括預處理、特征提取、模式識別分類三個步驟，信號分析處理完畢之后用戶想要輸入的字符也就確定。

5.根據權利要求1所述的一種基于腦信號與語音相結合的字符輸入方法，其特征在于：控制模塊負責將用戶通過腦信號或者語音信號輸入的字符輸出到記事本、瀏覽器計算機中需要文本輸入的目標應用程序中。