[發明專利]一種腦電信號識別系統及方法

在審

• 申請號: 202010818365.0
• 申請日: 2020-08-14
• 公開（公告）號: CN111973178A
• 公開（公告）日: 2020-11-24
• 發明（設計）人: 陶虎;維帥;周志濤;徐飛鴻
• 申請（專利權）人: 中國科學院上海微系統與信息技術研究所
• 主分類號: A61B5/0476
• 分類號: A61B5/0476;A61B5/0478;G06K9/62;G06N3/04;G06N3/08;G10L25/24
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;賈允

1.一種腦電信號識別系統，其特征在于，包括依次連接的腦電信號采集模塊(101)、特征提取模塊(102)和識別模塊(103)；

所述腦電信號采集模塊(101)，用于通過貼附于大腦皮層布洛卡區、視覺語言中樞、眶額葉皮層和扣帶皮層的腦電極采集腦電信號，并將所述腦電信號傳遞至所述特征提取模塊(102)；

所述特征提取模塊(102)，用于對所述腦電信號進行預處理，并根據已訓練的特征提取模型對所述預處理后的腦電信號進行特征提取，得到所述腦電信號的特征信息；

所述識別模塊(103)，用于根據已訓練的識別模型中的編碼器對所述特征信息進行編碼，得到包含文本特征和情緒特征的編碼信息，并根據所述已訓練的識別模型中的解碼器對所述編碼信息進行解碼，得到所述腦電信號對應的文本信息和情緒信息。

2.根據權利要求1所述的系統，其特征在于，所述系統還包括互相連接的音頻信號采集模塊和音頻信號處理模塊；

所述音頻信號采集模塊，用于采集訓練文本對應的音頻信號，并將所述音頻信號傳遞至所述音頻信號處理模塊；

所述音頻信號處理模塊，用于對所述音頻信號進行特征提取，得到所述音頻信號對應的語音特征；

其中，所述語音特征、所述訓練文本和所述訓練文本對應的閱讀情緒用于對未訓練的識別模型進行訓練，以得到所述已訓練的識別模型。

3.根據權利要求1所述的系統，其特征在于，所述腦電極包括柔性襯底；

所述柔性襯底的材料為蠶絲蛋白。

4.根據權利要求1所述的系統，其特征在于，所述編碼器采用雙向長短時記憶循環神經網絡模型結構；

所述解碼器采用長短時記憶循環神經網絡模型結構；

所述特征提取模型采用時域卷積網絡模型結構。

5.根據權利要求4所述的系統，其特征在于，所述解碼器包括文本解碼子模塊和情緒解碼子模塊；

所述文本解碼子模塊基于第一長短時記憶循環神經網絡模型LSTM1對所述編碼信息進行文本解碼，得到所述文本信息；

所述情緒解碼子模塊基于第二長短時記憶循環神經網絡模型LSTM2對所述編碼信息進行情緒解碼，得到所述情緒信息。

6.根據權利要求1所述的系統，其特征在于，所述系統還包括語音合成模塊；所述語音合成模塊與所述識別模塊(103)連接；

所述語音合成模塊，用于將所述文本信息轉換為所述腦電信號對應的語音信息。

7.一種腦電信號識別方法，其特征在于，包括：

根據已訓練的特征提取模型對預處理后的腦電信號進行特征提取，得到所述腦電信號的特征信息；所述腦電信號是通過貼附于大腦皮層布洛卡區、視覺語言中樞、眶額葉皮層和扣帶皮層的腦電極采集得到的；

根據已訓練的識別模型中的編碼器對所述特征信息進行編碼，得到包含文本特征和情緒特征的編碼信息；

根據所述已訓練的識別模型中的解碼器對所述編碼信息進行解碼，得到所述腦電信號對應的文本信息和情緒信息。

8.根據權利要求7所述的方法，其特征在于，所述方法還包括獲取所述已訓練的識別模型的步驟；

所述獲取所述已訓練的識別模型，包括：

獲取訓練文本、所述訓練文本對應的音頻信號、閱讀情緒和腦電樣本；

對所述音頻信號進行特征提取，得到所述音頻信號對應的實際語音特征；

根據所述已訓練的特征提取模型對預處理后的腦電樣本進行特征提取，得到所述腦電樣本的特征信息；

基于所述腦電樣本的特征信息、所述實際語音特征、所述訓練文本、所述閱讀情緒對預設機器學習模型進行訓練，得到所述已訓練的識別模型。