[發明專利]結合互信息通道選擇與混合神經網絡的腦電情感識別方法

有效

• 申請號: 202110143740.0
• 申請日: 2021-02-02
• 公開（公告）號: CN112932502B
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 胡家豪;孟明;高云園
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: A61B5/369
• 分類號: A61B5/369;A61B5/374;A61B5/16;A61B5/00
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 楊舟濤

1.結合互信息通道選擇與混合神經網絡的腦電情感識別方法，其特征在于，該方法具體包括以下步驟：

步驟(1)：多通道腦電信號采集與預處理；

首先采集受試者的多通道情感腦電信號，接著利用8階巴特沃斯濾波器對每個通道的腦電信號進行帶通濾波，得到δ(1-3Hz)，θ(4-7Hz)，α(8-13Hz)，β(14-30Hz)，γ(31-50Hz)這5個頻帶的EEG信號，并提取EEG信號各通道中γ頻帶的微分熵特征；

步驟(2)：基于歸一化互信息的腦電通道選擇，通過微分熵計算通道間相互的歸一化互信息，將所得歸一化互信息矩陣按列求和后的向量作為表征各通道任務相關性的權值，根據權值選出最優通道集；

步驟(3)：二維腦電序列變換方法，嘗試根據腦電帽電極的空間分布，將各通道同一采樣時刻采集到一維腦電序列轉換為二維矩陣形式，既保留了電極空間排布的拓撲特性，又可作為后續CNN網絡的輸入；

步驟(4)：使用混合深度神經網絡對采集受試者的多通道情感腦電信號進行特征提取和分類，將經過通道選擇后的樣本分別并行輸入到CNN和LSTM網絡中，其中輸入CNN中的樣本需要經過步驟(3)中的二維網狀腦電序列變換，兩類神經網絡分別提取樣本的特征并進行融合，使用softmax層對融合特征進行最后分類；

所述的步驟(2)基于歸一化互信息的腦電通道選擇，具體為：

互信息是衡量兩個隨機變量之間相互依賴性的統計學指標，對于兩類離散隨機變量X和Y，其互信息為：

其中p(x,y)為兩個隨機變量的聯合分布，p(x),p(y)分別為兩個隨機變量的邊緣分布，為了方便計算和對比，將所得的互信息進行歸一化處理：

其中H(X)與H(Y)分別代表隨機變量X和Y的信息熵；

首先計算被試觀看完每個情感誘發視頻后單時間窗內EEG信號的DE特征，然后計算各通道DE值之間的互信息并進行歸一化處理；由于相同通道之間的互信息值為1，如此便得到了一個n×n的實對稱互信息矩陣；其中n代表通道個數；

以權值來表征各通道的任務相關程度并進行通道選擇，零初始化各被試全通道權值向量求出被試每次實驗對應的歸一化互信息矩陣I_NMI后，對其按列相加，得到各通道與其他通道互信息和的數組V_NMI，互信息和值越大代表該通道在情感活動中與其余腦區電極交互信息越多，任務相關性越高，故取V_NMI中最大元素，記其對應的通道編號為m，同時將向量W_s中的值加一；單個被試共進行M次實驗，故經過M輪更新計算后得到單個被試的最終權值向量W_s；

由于個體的差異性，依賴被試的通道選擇最終得到的是每個被試的最優通道集，然而在一些應用場景中對每一位使用者使用特定的最優通道集是不切實際的，這里采用一種權值相加法的思想，選擇出適合所有被試的最優通道集，將每位被試經過M輪更新后的權值向量W_s按通道編號對應相加，得到不依賴具體被試的共性通道權值向量其中

N表示被試總數，表示被試s第i個通道的權值；將W_f中的元素按從大到小排列后取前K個通道最為最優通道，K應滿足：

基于互信息通道選擇法的步驟如表1所示：

表1通道選擇流程

根據上述的流程，計算出各通道對應的權值，根據權值做出腦地形圖并擇選出適合所有受試的最優通道集。