[發明專利]一種腦電信號識別系統及方法

在審

• 申請號: 202010818365.0
• 申請日: 2020-08-14
• 公開（公告）號: CN111973178A
• 公開（公告）日: 2020-11-24
• 發明（設計）人: 陶虎;維帥;周志濤;徐飛鴻
• 申請（專利權）人: 中國科學院上海微系統與信息技術研究所
• 主分類號: A61B5/0476
• 分類號: A61B5/0476;A61B5/0478;G06K9/62;G06N3/04;G06N3/08;G10L25/24
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;賈允

本申請涉及一種腦電信號識別系統及方法，包括依次連接的腦電信號采集模塊、特征提取模塊和識別模塊；腦電信號采集模塊用于通過貼附于大腦皮層布洛卡區、視覺語言中樞、眶額葉皮層和扣帶皮層的腦電極采集腦電信號，并將腦電信號傳遞至特征提取模塊；特征提取模塊用于對腦電信號進行預處理，并根據已訓練的特征提取模型對預處理后的腦電信號進行特征提取，得到腦電信號的特征信息；識別模塊用于根據已訓練的識別模型中的編碼器對特征信息進行編碼，得到包含文本特征和情緒特征的編碼信息，并根據已訓練的識別模型中的解碼器對編碼信息進行解碼，得到腦電信號對應的文本信息和情緒信息。如此，可以實現基于皮層腦電信號的情緒識別和語義復現。

技術領域

本申請涉及神經科學技術領域，特別涉及一種腦電信號識別系統及方法。

背景技術

語言是人類溝通、表達的載體，人腦經過數千年的演變進化形成了聽覺性、運動性、視覺性、書寫性四部分語言中樞，使人類獲得了聽、說、讀、寫等一系列的語言功能。近年來，隨著腦機接口領域的不斷發展與突破，針對語言的腦電信號研究引起了廣泛重視，包括腦電語音合成、發音想象腦機接口等；情緒同樣在人類溝通、表達時發揮重要作用，其種類與強度影響著人類對語句語義的理解及反饋，是實現準確語音合成和人機交互的關鍵信息。

現有技術中針對腦電語音相關性的研究主要集中在頭皮腦電信號(EEG)分析，然而，說話引起的不同程度面部肌肉運動以及不同的情緒類型激發的額部、臉頰周圍區域肌電信號和額電信號對EEG的采集有明顯干擾，低信噪比信號不利于后續特征提取與解碼；且現有技術中基于腦電語音的解碼工作已經開展了很多，但針對基于腦電信號的語音-情緒協同解碼還未有涉及。

發明內容

本申請實施例提供了一種腦電信號識別系統及方法，可以實現基于皮層腦電信號的文本信息和情緒信息的識別。

一方面，本申請實施例提供了一種腦電信號識別系統，包括依次連接的腦電信號采集模塊、特征提取模塊和識別模塊；

腦電信號采集模塊，用于通過貼附于大腦皮層布洛卡區、視覺語言中樞、眶額葉皮層和扣帶皮層的腦電極采集腦電信號，并將腦電信號傳遞至特征提取模塊；

特征提取模塊，用于對腦電信號進行預處理，并根據已訓練的特征提取模型對預處理后的腦電信號進行特征提取，得到腦電信號的特征信息；

識別模塊，用于根據已訓練的識別模型中的編碼器對特征信息進行編碼，得到包含文本特征和情緒特征的編碼信息，并根據已訓練的識別模型中的解碼器對編碼信息進行解碼，得到腦電信號對應的文本信息和情緒信息。

可選的，系統還包括互相連接的音頻信號采集模塊和音頻信號處理模塊；音頻信號采集模塊，用于采集訓練文本對應的音頻信號，并將音頻信號傳遞至音頻信號處理模塊；音頻信號處理模塊，用于對音頻信號進行特征提取，得到音頻信號對應的語音特征；其中，語音特征、訓練文本和訓練文本對應的閱讀情緒用于對未訓練的識別模型進行訓練，以得到已訓練的識別模型。

可選的，腦電極包括柔性襯底；柔性襯底的材料為蠶絲蛋白。

可選的，編碼器采用雙向長短時記憶循環神經網絡模型結構；解碼器采用長短時記憶循環神經網絡模型結構；特征提取模型采用時域卷積網絡模型結構。

可選的，解碼器包括文本解碼子模塊和情緒解碼子模塊；文本解碼子模塊基于第一長短時記憶循環神經網絡模型對編碼信息進行文本解碼，得到文本信息；情緒解碼子模塊基于第二長短時記憶循環神經網絡模型對編碼信息進行情緒解碼，得到情緒信息。

可選的，系統還包括語音合成模塊；語音合成模塊與識別模塊連接；語音合成模塊，用于將文本信息轉換為腦電信號對應的語音信息。

另一方面，本申請實施例還提供了一種腦電信號識別方法，包括：