[發明專利]基于注意力機制與GMN的多模態情感識別方法及系統

在審

• 申請號: 202110239787.7
• 申請日: 2021-03-04
• 公開（公告）號: CN113095357A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 曹葉文;陳煒青;周冠群
• 申請（專利權）人: 山東大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06K9/00;G06F40/30;G10L25/63
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

1.基于注意力機制與GMN的多模態情感識別方法，其特征是，包括：

對獲取的待識別的視頻進行預處理，得到待識別的視頻的文本特征、語音特征和面部表情特征；

將待識別的視頻的文本特征、語音特征和面部表情特征，并發輸入到訓練后的多模態情感識別網絡的LSTMs模型中，輸出第一特征向量；

對LSTMs模型所有相鄰時間戳的存儲器輸出值，進行加權求和，得到第一加權后的特征；將第一加權后的特征，輸入到訓練后的多模態情感識別網絡的門控記憶網絡GMN中，輸出第二特征向量；

訓練后的多模態情感識別網絡的全局注意力機制網絡GTAN，對每個LSTM模型下，所有時間戳的存儲器輸出值進行加權求和，得到第三特征向量；

訓練后的多模態情感識別網絡對第一、第二和第三特征向量進行融合，得到融合特征向量；對融合特征向量進行情感識別，得到情感識別結果。

2.如權利要求1所述的基于注意力機制與GMN的多模態情感識別方法，其特征是，包括：對獲取的待識別的視頻進行預處理，得到待識別的視頻的文本特征、語音特征和面部表情特征；具體步驟包括：

對待識別的視頻進行分離處理得到音頻信號和視頻信號；

對音頻信號進行語音識別得到文本信息；

對文本信息進行特征提取，得到文本特征；

對音頻信號進行特征提取，得到語音特征；

對視頻信號進行特征提取，得到面部表情特征。

3.如權利要求1所述的基于注意力機制與GMN的多模態情感識別方法，其特征是，包括：對獲取的待識別的視頻進行預處理，得到待識別的視頻的文本特征、語音特征和面部表情特征步驟之后，將待識別的視頻的文本特征、語音特征和面部表情特征，并發輸入到對應的LSTMs模型中，輸出第一特征向量步驟之前還包括：

對獲得的所有特征，進行數據對齊和標準化處理。

4.如權利要求1所述的基于注意力機制與GMN的多模態情感識別方法，其特征是，包括：所述多模態情感識別網絡，其網絡結構包括：LSTMs模型、DTAN模型、GMN模型和GTAN模型；

所述LSTMs模型通過DTAN模型與GMN模型連接，GMN模型與融合模塊連接；

所述LSTMs模型與融合模塊連接；

所述LSTMs模型與GTAN模型連接，GTAN模型與融合模塊連接；

融合模塊與第一全連接層連接，第一全連接層與第二全連接層連接，第二全連接層與輸出層連接。

5.如權利要求1所述的基于注意力機制與GMN的多模態情感識別方法，其特征是，包括：所述多模態情感識別網絡，訓練步驟包括：

構建訓練集，所述訓練集為已知情感類別標簽的同一個視頻對應的文本特征、語音特征和面部表情特征；

將訓練集的文本特征，輸入到第一LSTM模型中；同時，

將訓練集的語音特征，輸入到第二LSTM模型中；同時，

將訓練集的面部表情特征，輸入到第三LSTM模型中；

將已知情感類別標簽，作為多模態情感識別網絡的輸出值；

對多模態情感識別網絡進行訓練；得到訓練后的多模態情感識別網絡。

6.如權利要求1所述的基于注意力機制與GMN的多模態情感識別方法，其特征是，包括：將待識別的視頻的文本特征、語音特征和面部表情特征，并發輸入到訓練后的多模態情感識別網絡的LSTMs模型中，輸出第一特征向量；具體步驟包括：

將待識別的視頻的文本特征，輸入到第一LSTM模型中，第一LSTM模型輸出第一編碼向量；同時，

將待識別的視頻的語音特征，輸入到第二LSTM模型中，第二LSTM模型輸出第二編碼向量；同時，

將待識別的視頻的面部表情特征，輸入到第三LSTM模型中，第三LSTM模型輸出第三編碼向量；

將第一、第二和第三編碼向量進行拼接，得到第一特征向量。