[發(fā)明專利]基于自注意力機制的多模態(tài)情感識別方法

有效

• 申請?zhí)枺?/td>: 202010368593.2
• 申請日: 2020-05-01
• 公開（公告）號: CN111553295B
• 公開（公告）日: 2023-05-09
• 發(fā)明（設(shè)計）人: 傅湘玲;歐陽天雄;王莉;楊國勝;閆晨巍
• 申請（專利權(quán)）人: 北京郵電大學(xué)
• 主分類號: G06F18/24
• 分類號: G06F18/24;G06N3/094;G06N3/0475;G06F18/25;G06F18/213;G06N3/0442
• 代理公司: 北京格允知識產(chǎn)權(quán)代理有限公司 11609
• 代理人: 張莉瑜

本發(fā)明涉及一種基于自注意力機制的多模態(tài)情感識別方法以及計算機可讀存儲介質(zhì)，包括：獲取不同模態(tài)的數(shù)據(jù)；將每條樣本中的多維情感特征分組，抽取高維特征；根據(jù)自注意力機制計算模態(tài)間融合的情感信息；根據(jù)自注意力機制計算模態(tài)內(nèi)融合的情感信息；構(gòu)建情感相關(guān)矩陣，集結(jié)每個模態(tài)下的高維特征，形成單模態(tài)情感特征；對每一類情感，融合各模態(tài)的單模態(tài)情感特征，輸出屬于該情感類別的概率；對各類情感概率進行歸一化，輸出概率最大的情感類別，實現(xiàn)情感識別。本發(fā)明有效增強了模態(tài)特征之間的情感信息互補性，并增加情感高相關(guān)性特征的影響力，從而增強多模態(tài)情感識別能力。

技術(shù)領(lǐng)域

本發(fā)明涉及情感識別技術(shù)領(lǐng)域，尤其涉及一種基于自注意力機制的多模態(tài)情感識別方法以及計算機可讀存儲介質(zhì)。

背景技術(shù)

情感是人大腦的高級活動，是人類的一種復(fù)雜的心理和生理狀態(tài)。外界或者自身的刺激會造成人的情感變化。1997年MIT多媒體實驗室的Picard教授首次提出情感計算的概念，它旨在通過賦予計算機識別、理解、表達和適應(yīng)人類情感的能力來建立和諧的人機環(huán)境，在腦機接口、智能醫(yī)療、智慧家居等領(lǐng)域具有廣泛應(yīng)用，對于人機交互應(yīng)用智能化、情感化至關(guān)重要。人的情感變化同時也會帶來自身的外部行為和生理反應(yīng)的變化，情感計算就是根據(jù)人類外部和內(nèi)部變化的信息來判斷其情感狀態(tài)，它內(nèi)在的是一個多模態(tài)問題。因此，如何融合不同模態(tài)信息的特征，從而提升情感識別準(zhǔn)確率具有重大研究意義。

隨著深度學(xué)習(xí)理論的蓬勃發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、前饋神經(jīng)網(wǎng)絡(luò)等經(jīng)典網(wǎng)絡(luò)及其變種的模型在單模態(tài)情感識別任務(wù)中大放異彩，為多模態(tài)情感識別提供了堅實的基礎(chǔ)。而多模態(tài)情感識別的另一個重要挑戰(zhàn)是如何有效結(jié)合多種模態(tài)的信息，利用異構(gòu)模態(tài)之間情感信息的互補性，提供更加魯棒的預(yù)測效果。

針對這個挑戰(zhàn)，大多數(shù)現(xiàn)有技術(shù)采用了決策級融合和特征級融合的方式。其中，決策級融合技術(shù)對每個模態(tài)信息單獨構(gòu)建情感識別模型，并綜合考慮不同的模態(tài)信息對情感識別的重要性，通常引入權(quán)重原理在輸出層加權(quán)融合各模態(tài)的情感識別結(jié)果。此類方法由于各個模態(tài)的特征在真實預(yù)測中是相互孤立的，雖然用到了多個模態(tài)的預(yù)測結(jié)果，卻沒有真正意義上考慮不同模態(tài)特征之間的相關(guān)性，因此對于多模態(tài)信息的利用非常有限。而特征級融合方式聯(lián)合各個模態(tài)提取的單模態(tài)特征，基于不同的特征學(xué)習(xí)方式，學(xué)習(xí)到聯(lián)合的情感特征表示。然而，現(xiàn)有技術(shù)大多對各個模態(tài)提取到最后一層高維特征做聯(lián)合學(xué)習(xí)，這種方式雖然能夠一定程度上利用不同模態(tài)之間的信息互補，但是沒有充分考慮單模態(tài)內(nèi)和多模態(tài)間不同層次抽象特征之間情感相關(guān)性蘊含的情感信息。此外，很少有現(xiàn)有技術(shù)考慮了各個模態(tài)情感特征對不同情感的差異性，沒有考慮每一個模態(tài)特征對特定情感的重要程度。

發(fā)明內(nèi)容

本發(fā)明的目的是針對上述至少一部分缺陷，提供一種基于分層自注意力機制，分別對模態(tài)內(nèi)的特征融合和模態(tài)間的特征融合進行建模的多模態(tài)情感識別方法。

為了實現(xiàn)上述目的，本發(fā)明提供了一種基于自注意力機制的多模態(tài)情感識別方法，該方法包括如下步驟：

S1、獲取不同模態(tài)的數(shù)據(jù)，數(shù)據(jù)中每條樣本均包括多維情感特征；

S2、對各個模態(tài)，將每條樣本中的多維情感特征分組，得到各組相應(yīng)的特征向量；針對各組內(nèi)情感特征的相關(guān)性建模并抽取高維特征；

S3、對各個模態(tài)，根據(jù)自注意力機制，將抽取到的高維特征通過一層線性層映射成query、key和value特征；對每一個高維特征，計算其對異構(gòu)模態(tài)所有高維特征的注意力權(quán)重；根據(jù)注意力權(quán)重計算模態(tài)間融合的情感信息；基于需要融合的情感信息對每個高維特征進行更新；

S4、對各個模態(tài)，根據(jù)自注意力機制，將更新后的高維特征通過一層線性層映射成query、key和value特征，并引入跨模態(tài)的情感信息更新每個高維特征的query特征和key特征；對每一個高維特征，計算其對于所屬模態(tài)所有高維特征的注意力權(quán)重；根據(jù)注意力權(quán)重計算模態(tài)內(nèi)融合的情感信息；基于需要融合的情感信息對每個高維特征進行再次更新；