[發(fā)明專利]一種基于時空融合特征網絡的多通道腦電信號情緒識別方法

在審

• 申請?zhí)枺?/td>: 202111476447.2
• 申請日: 2021-12-06
• 公開（公告）號: CN114224342A
• 公開（公告）日: 2022-03-25
• 發(fā)明（設計）人: 張道強;劉艷玲;許子明
• 申請（專利權）人: 南京航空航天大學
• 主分類號: A61B5/16
• 分類號: A61B5/16;A61B5/372;A61B5/377;A61B5/00
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 曹坤

1.一種基于時空融合特征網絡的多通道腦電信號情緒識別方法，其特征在于，其具體操作步驟如下：

(1)、情緒刺激實驗范式設計和腦電信號數據采集；

(2)、對采集到的腦電信號進行基本預處理，從而得到情緒腦電信號數據；

(3)、對經過預處理后的情緒腦電信號進行數據轉換，使樣本包含時空信息；

(4)、將處理后的腦電樣本輸入至時空融合特征網絡中，并充分利用時空融合相關性信息，最終得到情緒分類結果。

2.根據權利要求1所述的一種基于時空融合特征網絡的多通道腦電信號情緒識別方法，其特征在于，

在步驟(1)中，所述設計情緒刺激實驗范式的具體過程是：

首先，從情緒素材庫中挑選能夠誘發(fā)不同情緒的情緒刺激素材；

然后，設定實驗范式中情緒刺激素材的展示順序、展示間隔和展示時間；將每種情緒刺激實驗重復若干次，直到將所有情緒刺激素材都展示過一次；

最后，形成完整的情緒刺激實驗范式。

3.根據權利要求1所述的一種基于時空融合特征網絡的多通道腦電信號情緒識別方法，其特征在于，

在步驟(1)中，所述腦電信號數據采集的具體過程是：

首先，參與者佩戴多通道腦電設備；

然后，腦電設備記錄參與者在整個實驗流程下的腦電信號；其中，所述腦電信號包括基線信號和試驗信號；

最后，將收集到的腦電數據保存在可存儲介質中。

4.根據權利要求1所述的一種基于時空融合特征網絡的多通道腦電信號情緒識別方法，其特征在于，

在步驟(2)中，所述對采集到的腦電信號進行的基本預處理操作步驟是：

(2.1)、通道定位與無關通道剔除：將EEG設備的記錄通道與頭皮位置相對應，并移除不相關的通道；

(2.2)、帶通濾波：對EEG信號進行濾波，保留所需要的頻率范圍，過濾噪聲和干擾；

(2.3)、重參考與降采樣：根據參考點對其他電極數據進行重參考，計算各電極和參考電極之間的電位差；降采樣減少數據量，提高計算速度；

(2.4)、偽跡去除：

首先，對數據記錄不良的電極進行插值操作；

然后，使用獨立主成分分析去除眼動和肌動偽跡；

最后，通過目視檢查手動刪除污染嚴重的數據；

(2.5)、分段和基線校正：

首先，使用一秒長度的滑動時間窗口從連續(xù)的試驗信號中不重疊地提取樣本，增加樣本數量；其中，每個樣本包含一秒時間內所有采樣點全部通道的信號幅值，構成二維矩陣；對基線信號以相同時間窗進行劃分處理，將分割后的T₁秒基線信號和T₂秒試驗信號分別記為

然后，計算T₁秒基線樣本的平均值作為平均基線，對試驗信號進行基線去除操作，以去除數漂移的影響，其形式化如下式所示：

其中，分別表示第t秒的基線信號和試驗信號；M表示采樣率，C表示記錄的電極數目，表示去除基線后的單個樣本。

5.根據權利要求1所述的一種基于時空融合特征網絡的多通道腦電信號情緒識別方法，其特征在于，

在步驟(3)中，所述對經過預處理后的情緒腦電信號進行數據轉換的具體步驟是：

(3.1)、將每個采樣點處的一維向量根據腦電電極分布圖轉換為二維方陣，未記錄的電極處添0，使樣本包含電極之間的相關性；

(3.2)、將每個采樣點處轉換得到的二維方陣按照采樣順序排列成三維陣列，使樣本同時包含時間和空間維度信息，其形式化如下式所示：

X′_t＝DataConverting(X_t)

其中，表示經過數據轉換步驟得到的樣本，包含時空信息，作為分類網絡的輸入；l表示轉換為的二維方陣的邊長。

6.根據權利要求1所述的一種基于時空融合特征網絡的多通道腦電信號情緒識別方法，其特征在于，

在步驟(4)中，所述的時空融合特征網絡用于挖掘腦電信號的時間依賴性和空間相關性，融合兩種維度上的信息來提高情緒識別的性能；其具體過程如下：

(4.1)、時空注意力模塊：

包括時間和空間兩個注意力子模塊，分別學習兩個維度上的關注點，減少冗余信息；

具體的：輸入的一秒長樣本首先進入空間注意力模塊，對每個采樣點處二維矩陣中的每個元素，即電極位置，計算所有采樣點在該電極處信息的最小值、最大值和平均值；空間方向全局平均池化可形式化為：

S_avg＝AveragePool(X′_t)

其中，X′_t表示單個輸入樣本，表示坐標(u,v)電極處的平均值；U,V分別為二維矩陣的行、列數，即電極分布圖橫向與縱向的最大長度；X′_t(m,u,v)是矩陣X′_t在(m,u,v)坐標上的值；同理，空間方向最大或最小池化可以形式化為：

S_max/min＝MaxPool/MinPool(X′_t)

其中，S_max/min(u,v)＝max/min{X′_t(1,u,v),X′_t(2,u,v),…,X′_t(M,u,v)}；然后合并三種映射，計算空間注意力映射A_spatial：

A_spatial＝F_spatial([S_min；S_max；S_avg]

其中，映射F_spatial(·)代表一層卷積核大小為7×7的二維卷積和Sigmoid激活函數的組合，,；]表示按通道連接；空間權重A_spatial∈R^(U,V)通過與每個采樣點的二維矩陣逐元素相乘加權到X′_t，完成空間維度上的特征重標定；空間子模塊的加權過程可表示為：

其中，表示逐元素乘法；

經過空間注意力模塊的樣本接著進入時間注意力模塊，計算每個采樣點的二維矩陣中所有元素的最小值、最大值和平均值；對于輸入特征時間方向全局平均池化可形式化為：

其中，表示在m采樣點處的平均值；時間方向全局最大或最小池化可形式化為：

其中，

接著通過T_min、T_max和T_avg三個映射計算時間注意力映射：

其中，T_i(i＝min,max,avg)表示池化計算結果；映射F_temporal(·)代表兩組全連接層和激活函數的組合，第一個式子得到所有采樣點的非線性特征，建模采樣點之間的相關性；第二個式子對三種池化結果的映射輸出求和，得到時間權重將中每個采樣點的二維矩陣與權值相乘，完成時間維度上的信息重標定；時間子模塊的加權過程可表示為：

最終得到樣本X′_t經過STAM模塊的輸出X_t，

(4.2)、Changer模塊：將經過時空注意力模塊加權后的特征作為輸入；Changer模塊是一層三維卷積，其卷積核大小為2×1×1，通道數為8；無非線性激活函數；

(4.3)、擴展因果卷積堆：

設計擴展因果卷積形式使其同時適應時間和空間兩個維度，得到三維擴展因果卷積；其中，擴展因果卷積堆由六層三維擴展因果卷積層構成，每一層在時間維度進行擴展因果卷積，并同時對空間維度的二維特征圖進行卷積操作提取空間特征，完成跨時間、跨通道的特征交流和整合；

在每一層中，首先，輸入特征分別通過filter層和gate層；Filter層使用8個卷積核大小為2×3×3的濾波器，filter層的輸出經過Tanh激活函數；gate層同樣使用8個卷積核大小為2×3×3的濾波器，gate層的輸出經過Sigmoid激活函數；

然后，將兩種激活函數的輸出特征相乘；

最后，相乘后的輸出一方面經過8個卷積核大小為1×1×1的濾波器和Relu激活函數引入更多非線性，再與輸入相加作為下一層的輸入；另一方面先經過三維最大池化層改變特征維度至設定大小，再經過16個卷積核大小為1×1×1的濾波器和Relu激活函數，作為該層的輸出，傳遞到下一層；

(4.4)、分類器模塊：

通過跳步連接得到擴展因果卷積堆的每一層輸出并相加，以整合所有層級特征；相加后的特征首先經過兩組通道數為8的1×1×1卷積和Relu激活函數進一步學習融合特征；然后，將特征矩陣延展為一維向量，輸入進節(jié)點數分別為128和情緒類別數的兩層全連接網絡；最后，全連接輸出的特征經過Softmax函數得到識別出的情緒類別。