[發明專利]一種基于多任務膠囊的腦電情緒識別方法

有效

• 申請號: 202111060732.6
• 申請日: 2021-09-10
• 公開（公告）號: CN113749657B
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 李暢;王彬;劉羽;成娟;宋仁成;陳勛
• 申請（專利權）人: 合肥工業大學
• 主分類號: A61B5/16
• 分類號: A61B5/16;A61B5/369;G06N3/0464;G06F18/2415;G06N3/084
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

本發明公開了一種基于多任務學習的腦電信號情緒識別方法，其步驟包括：1，對于原始EEG數據進行去基線和片段分割的預處理；2，建立多任務學習模型；3，對原始EEG信號進行通道注意力的處理；4，構建多任務膠囊網絡模型；5，在公開數據集上采用十折交叉方法訓練建立的多任務膠囊網絡模型；6，利用建立好的模型實現情緒分類任務。本發明能實現高精度情緒識別，從而提高識別率。

技術領域

本發明涉及情感計算領域，具體的說是一種基于多任務的腦電信號情緒識別方法。

背景技術

情緒是人們日常生活中不可缺少的一部分，與此同時情緒識別也是人工智能領域的關鍵技術。應用于情緒識別的研究有很多種，常用的有人的表情、語言、肢體動作等判斷人的情感，其中的腦電信號(Electroencephalogram,EEG)室是有實時差異性，但是他與人類的感情狀態有著密切的聯系，所以本發明采用基于EEG信號的情緒識別研究方法。EEG情緒識別算法主要分為兩類：傳統算法和基于深度學習的算法。

基于EEG信號的情緒識別的傳統算法中，通常是先從EEG信號中提取特征，再將提取得到的特征送到訓練分類器進行識別任務。因此選擇什么樣的特征進行情緒識別非常關鍵，常用的腦電特征有時域特征、特征和時頻特征等，功率譜特征、小波特征和微分熵等特征作為情緒相關特征進行情緒分類時，也可以取得比較好的結果。

近年來，深度學習方法引起情感計算領域的廣泛關注，人們采用各種深度學習網絡作為分類器應用于從EEG信號提取得到的特征。除此上述，也有一些直接將深度學習網絡直接用于原始EEG信號中，將特征提取與分類同時進行，從而實現端到端的情緒識別研究。

目前，這種基于深度學習的端到端的情緒識別方法大多數都是單任務學習提取EEG信號的特征，并且現有的深度學習方法都是基于單任務學習，但是這種方法卻不能考慮腦電信號的所有任務之間的的相關信息，當然也不會考慮到腦電信號各任務之間互補信息的共享性，從而使得腦電識別精度降低，因此不能達到預期的識別率。

發明內容

本發明為克服現有單任務學習技術的不足之處，提出一種基于多任務膠囊的腦電情緒識別方法，以期能實現高精度情緒識別，從而提高識別率。

本發明為達到上述發明目的，采用如下技術方案：

本發明一種基于多任務膠囊的腦電信號情緒識別方法的特點是按如下步驟進行：

步驟1、獲取任一受試者B的帶有L種情緒標簽的腦電信號數據并進行預處理，包括去基線和樣本分割，從而得到受試者B的N個腦電信號樣本，記為U＝{U₁,U₂,…,U_k,…U_N}，其中，U_k∈R^m×p表示第k個腦電信號樣本，m表示通道數，p表示采樣點數；L≥2；且每種情緒標簽有q種類型；

步驟2、建立初始的多任務膠囊模型，包括：通道注意力機制模塊和膠囊網絡組成，其中，通道注意力機制模塊包含最大池化層、平均池化層和共享多層感知器MLP，膠囊網絡包含共享卷積層，共享初始膠囊層、動態路由層和情緒膠囊層；

步驟2.1、將N個腦電信號樣本U輸入所述多任務膠囊模型中，經過所述通道注意力機制模塊的最大池化層和均值池化層的操作后輸出的結果再輸入所述共享多層感知器MLP中，輸出與通道相關的特征概率圖序列C＝{C₁,C₂,...,C_k,...,C_N}；其中，C_k表示第k個通道的特征概率圖；

將所述特征概率圖序列C與N個腦電信號樣本U相乘后，得到含有通道注意力機制的EEG數據其中，第k個通道的EEG數據；