[發明專利]跨用戶場景下對抗域適應的腦電情緒識別方法

有效

• 申請號: 202210001237.6
• 申請日: 2022-01-04
• 公開（公告）號: CN114492513B
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 葉婭蘭;李云霞;朱欣;孟千賀
• 申請（專利權）人: 電子科技大學
• 主分類號: G06F18/213
• 分類號: G06F18/213;G06F18/24;G06N3/0464;G06N3/047;G06N3/0475;G06N3/094;G06N3/096
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 周劉英

1.跨用戶場景下對抗域適應的腦電情緒識別方法，其特征在于，包括：

信號采集步驟，采集用戶在不同情緒狀態下激發的腦電數據，并對不同的情緒狀態下的腦電數據賦予不同的情緒標簽，對腦電數據進行切割形成樣本，并將樣本劃分為訓練集和測試集；

信號預處理步驟，對采集的腦電數據進行信號預處理，并提取初始腦電信號特征；

網絡構建及訓練步驟：以訓練集作為源域數據、測試集作為目標域數據，對情緒識別網絡模型進行訓練處理；

所述情緒識別網絡模型包括特征提取器、基于注意力機制的使用對抗域適應處理模塊和情緒標簽預測器；

所述特征提取器用于提取腦電初始信號特征的多層第一腦電信號特征，并將提取到的多層第一腦電信號特征輸入到基于注意力機制的使用對抗域適應處理模塊，所述特征提取器包括依次連接的一層圖卷積網絡和多個堆疊的卷積神經網絡；

所述基于注意力機制的使用對抗域適應處理模塊，將每一層特征信息按照指定的劃分規則分別劃分為兩個子區域，分別對應源域與目標域，并通過注意力機制配置每個子區域的遷移權重；即子區域的遷移能力越強，則遷移權重越大；基于注意力機制的使用對抗域適應處理模塊還包括：為每一個子區域配置一個判別器，用于輸出當前子區域的各樣本屬于源域和目標域的預測概率基于所述預測概率計算信息熵并基于信息熵確定第k個子區域的第i個樣本的遷移權重其中，k表示子區域標識符，i表示樣本標識符；

再基于每個子區域的遷移權重對子區域內的第一腦電信號特征進行變換處理，得到第二腦電信號特征并輸入情緒標簽預測器；

所述情緒標簽預測器包括至少兩層全連接層，用于預測樣本屬于各情緒類別的類別預測概率，即對第二腦電信號特征進行情緒類別的分類預測；

基于采集的樣本對情緒識別網絡模型進行深度學習訓練，直到滿足預設訓練需求，得到訓練好的情緒識別網絡模型；

情緒識別處理，對實時采集得到的腦電數據進行信號預處理，并提取初始腦電信號特征，再將待識別的初始腦電信號特征輸入到訓練好的情緒識別網絡模型，基于情緒標簽預測器的輸出確定識別結果：最大類別預測概率所對應的情緒類別；

其中，對情緒識別網絡模型進行訓練處理，所述基于注意力機制的使用對抗域適應處理模塊在計算遷移權重時，計算域分類損失；所述情緒標簽預測器在預測類別預測概率時，計算情緒分類損失，并結合域分類損失與情緒分類損失對情緒識別網絡模型的網絡參數進行更新；

情緒識別網絡模型在訓練時的總損失L為：

其中，L_y()表示情緒分類損失，表示第k個子區域的域分類損失，表示第k個子區域的判別器的輸出，D_s表示源域數據，D_t表示目標域數據，x_i表示第i個樣本的初始腦電信號特征，D＝D_s∪D_t，G_y(m_i)和y_i分別表示預測標簽和真實標簽的向量，G_f()表示特征提取器的輸出，d_i表示第i個樣本的域標簽，m_i表示第i個樣本的所有子區域的第二腦電信號特征，參數n＝n_s+n_t，n_s和n_t分別表示源域和目標域的樣本數量，K表示判別器數量，λ為預置的平衡參數。

2.如權利要求1所述的方法，其特征在于，第一腦電信號特征的變換處理為：其中，表示第k個子區域的第i個樣本的第一腦電信號特征，表示第k個子區域的第i個樣本的遷移權重，表示第k個子區域的第i個樣本的第二腦電信號特征。

3.如權利要求1所述的方法，其特征在于，信號預處理包括降采樣、帶通濾波、時間窗口切割和提取差分熵特征。

4.如權利要求1所述的方法，其特征在于，情緒標簽預測器涉及的情緒類別包括三類：積極、中性和消極。