[發明專利]一種以文本為核心的多模態情感分類方法

有效

• 申請號: 202110652703.2
• 申請日: 2021-06-09
• 公開（公告）號: CN113312530B
• 公開（公告）日: 2022-02-15
• 發明（設計）人: 秦兵;吳洋;趙妍妍;胡曉毓
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06F16/906
• 分類號: G06F16/906;G06K9/62;G06F16/35;G06F16/55;G06F16/75
• 代理公司: 哈爾濱華夏松花江知識產權代理有限公司 23213
• 代理人: 岳昕

一種以文本為核心的多模態情感分類方法，涉及自然語言處理技術領域，針對現有技術中將每個模態的語義信息看作一個整體，缺乏探索不同模態交互的能力，進而導致情感分類不準確的問題，包含兩部分，一部分是跨模態預測模型，該模型以文本模態特征為輸入，輸出為語音/圖像模態特征。利用該模型我們設計了共享特征與私有特征的判定規則，進而利用規則分辨出共享和私有特征。另一部分是情感預測模型，該模型利用跨模態注意力機制將文本模態特征與語音/圖像的共享和私有特征進行融合，最后得到多模態融合特征進行情感分類。

技術領域

本發明涉及自然語言處理技術領域，具體為一種以文本為核心的多模態情感分類方法。

背景技術

多模態情感分析是一個新興的研究領域，其目的是使用文本和非文本的(視覺、聲學)數據來了解人們的情感。這項任務最近引起了社會各界越來越多的關注，因為人們已經意識到，非文本線索對于檢測情感和識別視頻中的意見與情感有所幫助。

在多模態情感分析方面，有兩條主要的工作路線。一種是專注于語篇級的多模態特征融合。這類方法使用了整個語篇的特征，首先提取幀級別的視覺或聲音特征，然后將其平均化以獲得最終的語篇級特征。語篇級的文本特征可以通過應用RNNs來獲得。獲得的語篇級特征被送入融合模型以獲得多模態表示。目前已提出一些有效的多模態特征融合模型(Zadeh等人，2017；Liu等人，2018；Mai等人，2020)。語篇級的特征主要包含全局信息，可能無法捕捉到局部信息。因此，最近的工作主要集中在詞級別的多模態特征上。為了提取詞級別特征，第一步是獲得每個詞在視頻中出現的時間戳，包括開始時間和結束時間。然后根據時間戳，將語料分割成一些視頻片段。最后，通過對視頻片段的幀級別特征進行平均化來獲得詞級別的視覺或聲學特征。研究人員提出了很多方法來進行詞級別的多模態特征融合(Zadeh等人，2018；Wang等人，2019；Tsai等人，2019；Vaswani等人，2017)。此外，還有一項相關的工作(Pham等人，2019)需要注意，該工作認為可以從源模態到目標模態的翻譯中學習聯合表征，并提出了多模態循環翻譯網絡(MCTN)來學習聯合多模態表征。

已有的工作表明，與傳統的文本情感分析相比(Liu，2012)，加入非文本數據可以提高情感分析的性能(Chen等人，2017；Zadeh等人，2018；Sun等人，2020)。這有兩個原因，第一個原因是，三種模態可以傳達一些共同的語義。在這種情況下，這些非文本的共同語義并不提供文本數據以外的額外信息，但其中的重復信息可以加強最終的性能，稱之為共享語義。另一個原因是，三種模態都有與其他模態不同的自己特有的語義信息。這些語義信息是模態特有的，僅靠文本數據很難預測到，稱之為私有語義。結合私有語義信息可以更準確地檢測出最終的情感。

以前的工作通常不區分共享語義和私有語義，而是將每個模態的語義信息看作一個整體，缺乏探索不同模態交互的能力。

發明內容

本發明的目的是：針對現有技術中將每個模態的語義信息看作一個整體，缺乏探索不同模態交互的能力，進而導致情感分類不準確的問題，提出一種以文本為核心的多模態情感分析方法。

本發明為了解決上述技術問題采取的技術方案是：

一種以文本為核心的多模態情感分類方法，包括以下步驟：

步驟一：提取數據中的文本特征序列、視覺特征序列和聲學特征序列，然后利用文本特征序列與視覺特征序列訓練跨模態預測模型一，之后利用文本特征序列與聲學特征序列訓練跨模態預測模型二，當跨模態預測模型一和跨模態預測模型二損失函數值不再下降，則模型訓練完畢；

步驟二：將待測文本特征序列輸入跨模態預測模型一中，得到輸出的視覺特征序列，然后根據輸出的視覺特征序列得到視覺共享特征及視覺私有特征，

將待測文本特征序列輸入跨模態預測模型二中，得到輸出的聲學特征序列，然后根據輸出的聲學特征序列得到聲學共享特征及聲學私有特征；