[發明專利]一種基于多模態特征融合的社交媒體情感分析方法及系統

有效

• 申請號: 202011390807.2
• 申請日: 2020-12-02
• 公開（公告）號: CN112508077B
• 公開（公告）日: 2023-01-03
• 發明（設計）人: 耿玉水;張康;趙晶;劉建鑫;李文驍
• 申請（專利權）人: 齊魯工業大學
• 主分類號: G06F18/25
• 分類號: G06F18/25;G06N3/0464;G06N3/048;G06N3/08;G06V10/80;G06V10/764;G06V10/82
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 董雪

1.一種基于多模態特征融合的社交媒體情感分析方法，其特征在于，包括：

獲取待識別的圖文數據；

從待識別的圖文數據中提取文本特征；

從待識別的圖文數據中提取圖像特征；

將文本特征和圖像特征進行跨模態融合，獲取文本融合特征和圖像融合特征；

根據文本融合特征和圖像融合特征進行情感分類識別；

其中，特征融合包括：

將文本特征提取模塊和圖像特征提取模塊輸出的特征作為特征融合模塊的輸入，其中一種是主輸入，另一種是副輸入，將兩種輸入模態融合來生成目標模態輸出，設一個主輸入副輸入將主輸入E和副輸入G投影到同一個共享向量空間中：

上式的是訓練參數，d_v表示共享向量空間的維數，使用E_emb和G_emb來計算注意力矩陣M_ij表示主輸入的第i個內容與副輸入的第j個內容之間的相關性，用下式表示注意力矩陣M：

為了衡量每個副輸入對主輸入的重要性，使用softmax函數來量化M:

之后就得到了基于注意力機制的副輸入J：

J＝G·M^T (5)

最后，主輸入E和基于注意力機制的副輸入J在全連接層進行拼接，得到融合特征U＝{U₁,U₂,...,U_n}：

U＝tanh(P_u[E_i:J_i]+C_u) (6)

上式中，

2.如權利要求1所述的一種基于多模態特征融合的社交媒體情感分析方法，其特征在于，通過降噪自編碼器，從待識別的圖文數據中提取文本特征。

3.如權利要求1所述的一種基于多模態特征融合的社交媒體情感分析方法，其特征在于，通過基于注意力的變分自動編碼器，從待識別的圖文數據中提取圖像特征。

4.如權利要求3所述的一種基于多模態特征融合的社交媒體情感分析方法，其特征在于，基于注意力的變分自動編碼器的損失函數為：L(φ,μ,a)＝E_qφ(d|a)[logp_μ(a|d)]-βD_KL(q_φ(d|a)||p_μ(d)) 。

5.如權利要求1所述的一種基于多模態特征融合的社交媒體情感分析方法，其特征在于，將文本特征和圖像特征輸入特征融合模塊進行特征融合，具體為：

特征融合模塊分別以文本特征為主輸入，圖像特征為副輸入，輸出文本融合特征，以圖像特征為主輸入，以文本特征為副輸入，輸出圖像融合特征。

6.如權利要求1所述的一種基于多模態特征融合的社交媒體情感分析方法，其特征在于，根據主輸入和副輸入計算輸出融合特征的具體過程為：

將主輸入和副輸入投影到同一個共享向量空間中；

通過注意力機制計算主輸入和副輸入間的相關性；

通過主輸入與主輸入和副輸入間的相關性，獲得基于注意力機制的副輸入；

將主輸入和基于注意力機制的副輸入進行拼接，獲得融合特征。

7.如權利要求1所述的一種基于多模態特征融合的社交媒體情感分析方法，其特征在于，將文本融合特征和圖像融合特征經全連接層連接后由輸出層輸出至softmax分類器中進行情感分類識別。