[發明專利]基于自注意力機制的多模態情感識別方法

有效

• 申請號: 202010368593.2
• 申請日: 2020-05-01
• 公開（公告）號: CN111553295B
• 公開（公告）日: 2023-05-09
• 發明（設計）人: 傅湘玲;歐陽天雄;王莉;楊國勝;閆晨巍
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06F18/24
• 分類號: G06F18/24;G06N3/094;G06N3/0475;G06F18/25;G06F18/213;G06N3/0442
• 代理公司: 北京格允知識產權代理有限公司 11609
• 代理人: 張莉瑜

1.一種基于自注意力機制的多模態情感識別方法，其特征在于，包括如下步驟：

S1、獲取不同模態的數據，數據中每條樣本均包括多維情感特征；

S2、對各個模態，將每條樣本中的多維情感特征分組，得到各組相應的特征向量；針對各組內情感特征的相關性建模并抽取高維特征；

S3、對各個模態，根據自注意力機制，將抽取到的高維特征通過一層線性層映射成query、key和value特征；對每一個高維特征，計算其對異構模態所有高維特征的注意力權重；根據注意力權重計算模態間融合的情感信息；基于需要融合的情感信息對每個高維特征進行更新；

S4、對各個模態，根據自注意力機制，將更新后的高維特征通過一層線性層映射成query、key和value特征，并引入跨模態的情感信息更新每個高維特征的query特征和key特征；對每一個高維特征，計算其對于所屬模態所有高維特征的注意力權重；根據注意力權重計算模態內融合的情感信息；基于需要融合的情感信息對每個高維特征進行再次更新；

S5、對每一類情感，分別構建N個情感強度檢測器，每個所述情感強度檢測器由擁有獨立參數的卷積神經網絡構成；將再次更新后的高維特征輸入對應的所述情感強度檢測器，每個所述情感強度檢測器輸出其對于當前情感類別的激活強度值，進而得到情感相關矩陣；根據情感相關矩陣提供的權重集結每個模態下的各個高維特征，形成單模態情感特征；

S6、對每一類情感，采用雙線性網絡融合各模態的單模態情感特征，并輸入二分類全連接網絡，輸出屬于該情感類別的概率；對各類情感概率進行歸一化，輸出概率最大的情感類別。

2.根據權利要求1所述的多模態情感識別方法，其特征在于：

所述步驟S1中獲取的數據包括腦電信號數據和眼動信號數據兩個不同模態的數據。

3.根據權利要求2所述的多模態情感識別方法，其特征在于：

所述步驟S2中，將每條樣本中的多維情感特征分組時，對腦電信號數據，根據多維情感特征的區域性進行分組，分為16組，對于眼動信號數據，根據多維情感特征的類型進行分組，分為5組；得到各組相應的特征向量表達式如下：

其中，腦電信號數據對應的多維情感特征62為腦電帽電極數，每個特征v_j包含腦電信號在5個波段上提取的微分熵，眼動信號數據對應的多維情感特征31為眼動信號數據對應的特征總數，特征q₁-q₁₂為瞳孔直徑特征，q₁₃-q₁₆為眼球掃視特征，q₁₇-q₁₈為眼球注視特征，q₁₉-q₂₂為注視偏差特征，q₂₃-q₃₁為統計事件特征，為第j組腦電特征向量，n_j(j＝1,2,…,16)為第j組腦電區域的電極數目，為第j組眼動特征向量，m_j(j＝1,2,…,5)為第j組眼動特征的特征數目。

4.根據權利要求3所述的多模態情感識別方法，其特征在于：

所述步驟S2中，針對各組內情感特征的相關性建模并抽取高維特征時，對腦電信號數據，采用雙向長短時記憶網絡進行建模，記L(·；θ)為雙向長短時記憶網絡前向操作，其輸出隱層為：

其中，θ為網絡可學習參數，d_r表示隱層的維數，h_i(i＝1,2,…,n_j)表示隱層的特征向量；

將第j組腦電區域特征向量輸入，抽取出雙向長短時記憶網絡的最后一層隱層的向量作為腦電高維特征輸入各組腦電區域特征向量，得到高維特征向量記為H_i^eeg：

對眼動信號數據，采用具有一層隱層的全連接網絡進行建模，令σ_j(·；θ)為帶非線性激活函數的線性映射層，抽取出高維特征向量記為H_i^eye：

其中，為第j組眼動高維特征，θ為網絡參數，d為線性層的輸出維數。