[發明專利]一種基于腦信號與語音相結合的字符輸入方法

有效

• 申請號: 202110068292.2
• 申請日: 2021-01-19
• 公開（公告）號: CN112698729B
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 李遠清;高天毅;瞿軍
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F18/213;G06F18/241;G10L15/22;G10L15/26
• 代理公司: 北京中濟緯天專利代理有限公司 11429
• 代理人: 謝建華

本發明公開了一種基于腦信號與語音相結合的字符輸入方法，本方法的具體步驟如下：系統初始化：用戶戴上電極帽，打好導電膏，將電極帽連接上放大器，將放大器連接到電腦上，啟動腦電采集軟件，設置好參數；將麥克風連接到電腦上；腦信號輸入：啟動誘發刺激模塊的刺激范式界面，開始訓練數據的采集；在每個字符的拼寫過程中，P300按鈕會閃爍n輪(round)，在每個round中44個P300按鈕會按照隨機的次序閃爍1次；本發明針對現有的腦機領域字符輸入方法存在的缺陷進行了完善，采用了腦信號和語音信號輸入的方法，將腦機接口技術和語音識別技術相結合，大大提高了字符輸入方法的靈活性，同時也使得字符輸入效率得到了極大的提升。

技術領域

本發明屬于人機交互技術領域，具體涉及一種基于腦信號與語音相結合的字符輸入方法。

背景技術

目前社會對殘障人士的關注慢慢增多，如何提高殘障人士的生活質量已經成為人們熱議的話題。為幫助殘障患者更好地與外界進行信息交互，對現有的字符輸入方法進行了如下調研分析：

申請號為201110269640.9的發明“一種用腦電波輸入漢字的虛擬鍵盤設計方案”和申請號為201710582561.0的發明“基于運動視覺誘發電位的高效腦控中文輸入法”都是單純地采用腦機接口技術實現字符輸入，對于殘障患者來說，使用腦機接口技術實現的字符輸入方法存在如下弊端：(1)中文輸入需要利用拼音或者筆畫進行多步拼寫輸入，步驟繁瑣，輸入一個漢字的耗時較長，時效性得不到保證。(2)長時間操作會讓使用者感到疲勞，使用者在疲勞狀態下的操作準確率也會隨之降低，輸入不穩定，準確率得不到保證。

申請號為201210517734.8的發明“基于視線跟蹤與語音識別的字符輸入裝置和方法”，由于語音識別技術受環境等不確定因素的影響，識別準確率得不到保證，尤其在是語音輸入較長一段話的情況下，語音識別往往會得到部分正確部分錯誤的識別結果，另外語音識別也存在同音字誤識別的問題。這個發明也只是利用語音識別技術作為輔助字符輸入的控制方法，沒能很好地將語音識別技術輸入效率高的優點應用到字符輸入場景中。

本發明旨在解決腦機接口領域的字符輸入問題，讓使用者得以利用腦信號和語音信號高效準確地進行字符輸入。由于單純地依靠腦機接口技術進行字符輸入存在準確率和時效性的局限性，單純的語音識別技術雖然其輸入效率高，但是也存在準確性的問題。因此本發明將語音識別技術與腦機接口技術結合起來進行字符輸入，利用語音識別技術彌補在使用腦機接口技術輸入字符時時效性不夠的不足，利用腦機接口技術彌補語音識別技術因為誤識別情況導致準確率低的問題。兩種技術結合之后的字符輸入方法極大地提高了輸入效率和準確率，且在不同輸入需求情況下可以靈活選擇輸入方法，極大地拓展了腦機接口技術在人機交互領域應用范圍。

發明內容

本發明的目的在于提供一種基于腦信號與語音相結合的字符輸入方法，以解決上述背景技術中提出的問題。

為實現上述目的，本發明提供如下技術方案：一種基于腦信號與語音相結合的字符輸入方法，系統由誘發刺激模塊、信號采集模塊、信號分析模塊和控制模塊四部分組成；具體步驟如下：

(1)系統初始化：用戶戴上電極帽，打好導電膏，將電極帽連接上放大器，將放大器連接到電腦上，啟動腦電采集軟件，設置好參數；將麥克風連接到電腦上；

(2)腦信號輸入：啟動誘發刺激模塊的刺激范式界面，開始訓練數據的采集；在每個字符的拼寫過程中，P300按鈕會閃爍n輪(round)，在每個round中44個P300按鈕會按照隨機的次序閃爍1次；信號分析模塊對采集到的頭皮腦電信號進行帶通濾波，然后取每個P300按鈕閃爍刺激開始后的600ms作為采樣點來進行P300檢測，這段數據稱為一個epoch，再對每個epoch以6倍的下采樣率進行下采樣，將對應于每個P300按鈕閃爍的下采樣后得到的數據連接構成一個特征向量，之后再將n次采集所得的所有P300按鈕閃爍對應的特征向量進行分類識別，以確定使用者想要選擇的目標；