[發明專利]一種基于多模態融合的情緒分類識別方法

在審

• 申請號: 202110245153.2
• 申請日: 2021-03-05
• 公開（公告）號: CN112861778A
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 馬捃凱;湯平川;王勵燁;黃麗亞
• 申請（專利權）人: 南京郵電大學;賽爾網絡有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06F17/16;G06N20/10
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 王恒靜

本發明公開一種基于多模態融合的情緒分類識別方法，包括：輸入單個數據的腦電信號，并對腦電信號預處理，腦電信號為多通道數字信號；選取M個電極作為腦網絡節點，每個節點代表一個腦電信號，并計算各個節點之間的相位鎖定值，進而得到腦網絡節點對應的連接權重矩陣；根據連接權重計算加權K?階傳播數，進而得到每個節點的重要性排名；將腦網絡拓撲結構和節點的重要性進行融合；計算訓練數據集中所有特征的F?score值，對融合后的特征進行選擇，對整個數據集進行情緒分類；本發明采用合理的特征選擇策略從整個特征空間選擇最好的子集，將網絡拓撲結構和節點重要性兩種模式組合導致的冗余信息進行刪除，避免了過擬合，減少了時間復雜度，提高分類準確率。

技術領域

本發明涉及腦電信號的情緒識別技術領域，具體涉及一種基于多模態融合的情緒分類識別方法。

背景技術

有研究表明，網絡的拓撲結構和節點重要性在不同情緒下有著明顯的差異；這種差異反映了不同情緒下大腦各個區域的活動，而且還涉及不同功能區域之間的信息傳遞和相互作用。從本質上來說，這種網絡的拓撲結構和節點重要性是對情感活動的局部響應，而這種模式則挖掘了相關大腦區域之間的相互作用。因此，現有技術將網絡拓撲結構和節點重要性兩種模式組合起來，以利用兩者之間的信息互補特點。但是簡單的將兩種模式進行融合的方案可能并不是最好的選擇，因為這兩種特征中會存在一定的冗余信息影響情緒識別的準確性。因此有必要將這些冗余信息進行刪除。

在機器學習中，普遍認為冗余信息會對算法的性能產生不利的影響，并且會導致一系列的問題，例如，過擬合和增加時間復雜度。因此，現有根據腦電信號進行情緒分類準確率普遍不高。

發明內容

發明目的：為了克服現有技術的不足，本發明提供一種基于多模態融合的情緒分類識別方法，該方法可以解決傳統的利用腦電信號進行分類識別準確度不高的問題。

技術方案：本發明所述的基于多模態融合的情緒分類識別方法，包括：

(1)輸入單個數據的腦電信號，并對腦電信號預處理，所述腦電信號為多通道數字信號；

(2)選取M個電極作為腦網絡節點，每個節點代表一個腦電信號，并計算各個節點之間的相位鎖定值，進而得到腦網絡節點對應的連接權重矩陣，矩陣維度為M*M；

(3)根據所述連接權重計算加權K-階傳播數，進而得到每個節點的重要性排名；

(4)將腦網絡拓撲結構和節點的重要性進行融合；

(5)計算訓練數據集中所有特征的F-score值，并利用F-score算法對融合后的特征進行選擇，并對整個數據集進行情緒分類。

進一步的，包括：

所述步驟(2)中，相位鎖定值PLV表示為：

Δφ(t)＝φ_x(jΔt)-φ_y(jΔt)

其中，Δφ(t)表示信號x(t)和y(t)在采樣時間Δt內的相位差，φ_x(jΔt)，φ_y(jΔt)分別為兩個信號x(t)和y(t)第j個樣本的瞬時相位，N是每個信號的樣本總數，i為虛部。

進一步的，包括：

所述步驟(3)中，根據連接權重計算加權K-階傳播數，包括：

(31)根據連接權重矩陣得到節點之間的最短路徑矩陣D，D(v_i,v_j)表示網絡節點v_i到節點v_j的最短路徑；

(32)計算腦網絡在不同K值下的傳播數，K-階傳播數表示為：