[發明專利]基于多模態交互融合網絡的圖文情感分析方法及系統

有效

• 申請號: 202110412323.1
• 申請日: 2021-04-16
• 公開（公告）號: CN113158875B
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 甘臣權;馮慶東;付祥;張祖凡
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06V30/413
• 分類號: G06V30/413;G06V30/19;G06V10/80;G06V10/82;G06N3/04;G06N3/08;G06F40/284
• 代理公司: 北京同恒源知識產權代理有限公司 11275
• 代理人: 趙榮之

1.一種基于多模態交互融合網絡的圖文情感分析方法，其特征在于：包括以下步驟：

步驟一：對圖文進行預處理，分離出文本和圖像，并采用詞嵌入技術處理文本，采用圖像處理技術處理圖像；

步驟二：使用空洞卷積神經網絡、雙向長短時記憶網絡和注意力機制構建文本特征提取模塊，使用深度卷積網絡構建視覺特征提取模塊；

步驟三：設計面向圖文的多模態交互融合網絡，并采用多個具有不同神經元的多模態交互融合網絡建模不同粒度的圖文相關性；所述設計面向圖文的多模態交互融合網絡，具體包括以下步驟：

對于文本特征T和視覺特征P，通過多模態交互融合網絡獲取交互后的圖文特征X；

S301：通過輸入門的門控機制控制文本特征和視覺特征中的相關信息參與特征交互，具體公式如下：

i_T＝σ(TW_iT+b_iT)

i_P＝σ(PW_iP+b_iP)

式中，σ(·)代表Sigmoid激活函數，W_r、b_r代表可訓練權重和偏置，通過i_T和i_P確定文本特征和視覺特征中哪些相關信息將參與特征交互過程；

S302：將文本特征T和視覺特征P映射到輸入空間，具體如下：

e_T＝TW_eT+b_eT

e_P＝PW_eP+b_eP

式中，W_r、b_r代表可訓練權重和偏置，e_T、e_P代表輸入空間中的文本特征和視覺特征

S303：得到文本特征和視覺特征中的有效交互信息：

e'_T＝e_T*i_T

e'_P＝e_P*i_P

式中，e'_T和e'_P分別代表有效文本交互特征和有效視覺交互特征；

S304：將文本特征和視覺特征，以及有效的文本交互特征和視覺交互特征，輸入到交互空間中，通過余弦相似度計算不同模態特征之間的相關性：

式中，α_p2t代表視覺特征與文本特征的相似性，α_t2p代表文本特征與視覺特征的相似性；

S305：將輸入的文本特征和視覺特征映射到輸出空間，計算備選的輸出特征：

式中，和表示輸出空間中的備選文本特征和備選視覺特征，和表示可訓練權重，和表示可訓練偏置；

S306：根據有效交互特征得到注意力加權向量，用于去除輸出特征中的冗余信息：

A_T＝softmax(e'_T)

A_P＝softmax(e'_P)

S307：根據以上信息建模特征之間的互補性和一致性，并得到有效特征和互補特征，輸出空間中交互后的特征表示為：

式中，C_T和C_P代表輸出空間中交互后的文本和視覺特征；

S308：通過輸出門的門控機制確定輸出哪些圖文信息，并建模特征之間的差異性，以消除特征中的冗余信息：

O_T＝σ(TW_oT+b_oT)

O_P＝σ(PW_oP+b_oP)

式中，O_T和O_P代表多模態交互融合模塊，W_oT和W_oP表示可訓練權重，b_oT和b_oP表示可訓練偏置；

S309：根據輸出門和輸出空間中的特征，可得到輸出特征：

T'＝O_T*tanh(C_T)

P'＝O_P*tanh(C_P)

式中，T'和P'為輸出的文本特征和視覺特征；

S310：融合h個交互融合模塊的輸出并生成圖文特征：

式中，W^r代表可訓練權重，[,]代表串聯操作；

步驟四：融合不同粒度的圖文特征，并通過多層感知機獲取圖文情感傾向；

步驟五：使用交叉熵作為損失函數，并使用帶有熱啟動的Adam優化器訓練模型。