[發明專利]基于雙向雙層注意力LSTM網絡的多模態情感分類方法及系統

在審

• 申請號: 202210369747.9
• 申請日: 2022-04-08
• 公開（公告）號: CN114722202A
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 吳珺;朱天亮;吳一帆;鄭欣麗;王春枝
• 申請（專利權）人: 湖北工業大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 肖明洲

本發明公開了一種基于雙向雙層注意力LSTM網絡的多模態情感分類方法及系統，首先多模態數據特征的選取；然后對于音頻數據選擇雙層的單向LSTM模型，用于抽取音頻特征，對于文本和視頻信息，選用TBA?LSTM(Two?layerBILSTM based on Attention)模型進行特征抽取；接著將抽取后的特征進行張量融合的方式；最后使用注意力機制來進行多模態數據的分類問題。本發現相對于一些其他的傳統模型(LSTM，TFN，MFN，MARN等等)，在公共數據集上CMU?MOSI上，其精度和F1_Score均有顯著程度的提升，并且其深層次的特征抽取能力更強。

技術領域

本發明屬于多模態情感分類技術領域，涉及一種多模態情感分類方法及系統，特別地涉及一種基于注意力的雙層雙向LSTM網絡的多模態情感分析方法及系統。

背景技術

在日常生活中，隨著各種社交媒體的出現，越來越多的用戶喜歡在微博、抖音、Twitter等平臺來表達出自己的情感。表達的內容也是多種多樣的，從最開初的文本、表情符號，到后期的語音、視頻等多模態數據，導致多模態情感信息的數據維度不斷增大。

目前多模態情感分析的研究主要可以分為兩類。一類以傳統的機器學習算法為主：支持向量機(Support Vector Machine，SVM)來處理基于文檔水平的情感分類問題，充分挖掘了上下文意見句的作用，然而隨著樣本數量的不斷增大，該模型的性能也不斷的降低。使用強化學習來計算每個詞的感情色彩，句子的感情色彩則由詞語的情感值累加得到。第二類則使用神經網絡來處理多模態數據。常見的方法有卷積神經網絡(ConvolutionalNeural Network，CNN)和循環神經網絡(Recurrent Neural Network，RNN)對文本進行情感分析。Hochreiter等進一步提出長短期記憶模型(Long Short-Term Memory，LSTM)來解決由RNN帶來的梯度消失問題。隨著自注意力機制在Transformer上的使用，使用雙向LSTM加上自注意力機制和多通道特征來解決由于文本過短而導致的錯誤分類問題。通過引入多層卷積網絡來并行處理文本來解決模型不能很好地對復雜文本進行并行處理的能力。

但是這些模型大多都是基于單層的LSTM，通過引入CNN或者注意力機制來提高模型的性能，很難深層次的提取一些復雜的多模態數據特征。

發明內容

為解決上述問題，本發明的目的在于提供一種基于注意力的堆疊的雙層雙向LSTM網絡的多模態情感分析方法及系統，該網絡能夠進行深層次的特征抽取，加上雙向注意力模塊，找到對多模態數據情感極性影響最突出的特征，最后通過張量融合的方式來實現多模態特征融合。

本發明的方法所采用的技術方案是：一種基于雙向雙層注意力LSTM網絡的多模態情感分類方法，包括以下步驟：

步驟1：針對待情感分類的多模態數據進行預處理，所述數據包括文本數據、語音數據和圖像數據；

步驟2：將預處理后的文本和圖像數據分別輸入雙向雙層注意力LSTM網絡，進行多模態特征信息提取，包括特征抽取和基于注意力機制的特征融合過程；將預處理后的音頻數據，使用雙層單向的LSTM網絡進行特征抽取；

步驟3：將所述多模態特征信息進行特征融合，獲得一個三維特征矩陣；

步驟4：對融合后的特征進行情感分類，產生最終結果。

本發明的系統所采用的技術方案是：一種基于雙向雙層注意力LSTM網絡的多模態情感分類系統，包括以下模塊：

模塊1，用于針對待情感分類的多模態數據進行預處理，所述數據包括文本數據、語音數據和圖像數據；

模塊2，用于將預處理后的文本和圖像數據分別輸入雙向雙層注意力LSTM網絡，進行多模態特征信息提取，包括特征抽取和基于注意力機制的特征融合過程；將預處理后的音頻數據，使用雙層單向的LSTM網絡進行特征抽取；