[發明專利]一種基于多模態對抗對比學習的謠言鑒別方法及裝置

在審

• 申請號: 202310268846.2
• 申請日: 2023-03-20
• 公開（公告）號: CN116403229A
• 公開（公告）日: 2023-07-07
• 發明（設計）人: 鄒婷;錢忠
• 申請（專利權）人: 蘇州大學
• 主分類號: G06V30/41
• 分類號: G06V30/41;G06V30/18;G06V30/19;G06V10/80;G06V10/82;G06N3/0475;G06N3/094
• 代理公司: 蘇州市中南偉業知識產權代理事務所(普通合伙) 32257
• 代理人: 陳華紅子

1.一種基于多模態對抗對比學習的謠言鑒別模型訓練方法，其特征在于，包括：

獲取訓練集中樣本數據的文本圖像對與相關評論；

對所述文本圖像對進行特征提取，獲取文本初步特征與圖像初步特征，輸入模態鑒別器中；

利用對抗學習，最小最大化模態鑒別器損失，更新模態鑒別器參數，將輸入的所述文本初步特征與所述圖像初步特征對齊后融合，生成模態不變特征；

提取相關評論基于時序變化的立場變化特征與情感變化特征，輸入特征鑒別器中；

利用對抗學習，最小最大化特征鑒別器損失，更新特征鑒別器參數，將所述立場變化特征與所述情感變化特征對齊后融合，生成融合特定特征；

將所述模態不變特征與所述融合特定特征拼接后，輸入多層感知器，生成綜合多模態表征，與正負樣本計算對比損失，最小化對比損失，更新多層感知器參數；

根據所述模態鑒別器損失、所述特征鑒別器損失、所述對比損失與多層感知器損失構建目標損失函數；

最小化所述目標損失函數，更新多層感知器的模型參數；最大化所述目標損失函數，更新模態鑒別器與特征鑒別器的模型參數；

獲取包括模態鑒別器、特征鑒別器與多層感知器的多模態謠言鑒別模型。

2.根據權利要求1所述的基于多模態對抗對比學習的謠言鑒別方法，其特征在于，所述提取相關評論基于時序變化的立場變化特征與情感變化特征，包括：

利用SERN獲取相關評論的立場特征；

利用情感分析平臺獲取相關評論的情感特征；

利用RNN捕獲相關評論的時序變化，結合所述立場特征與所述情感特征，生成立場變化特征與情感變化特征。

3.根據權利要求1所述的基于多模態對抗對比學習的謠言鑒別模型訓練方法，其特征在于，所述文本初步特征是利用語言表征模型進行編碼獲取的，所述語言表征模型包括但不限于RoBERTa、BERT、XLNet與ALBERT。

4.根據權利要求1所述的基于多模態對抗對比學習的謠言鑒別模型訓練方法，其特征在于，所述圖像初步特征是利用圖片特征提取器提取的，所述圖片特征提取器包括但不限于ResNet50、Vgg19與ViT。

5.根據權利要求1所述的基于多模態對抗對比學習的謠言鑒別模型訓練方法，其特征在于，所述對比損失函數表示為：

其中，K表示樣本總數，l_k表示綜合多模態表征，l_p是與l_k具有相同標簽的正樣本，l_a是與l_k具有不同標簽的負樣本；A(k)表示負樣本集合，P(k)表示正樣本集合；sim(·)表示余弦相似度計算公式；溫度系數τ為超參數，用于控制模型對負樣本的區分度。

6.根據權利要求1所述的基于多模態對抗對比學習的謠言鑒別模型訓練方法，其特征在于，所述模態鑒別器損失、所述特征鑒別器損失與所述多層感知器損失均為交叉熵損失。

7.根據權利要求6所述的基于多模態對抗對比學習的謠言鑒別模型訓練方法，其特征在于，所述交叉熵損失的函數表達式為：

其中，K表示訓練集中樣本數據的總數，y_i表示第i個樣本的真實標簽，表示第i個樣本的模型預測值。

8.一種基于多模態對抗對比學習的謠言鑒別方法，其特征在于，包括：

獲取待檢測樣本的文本圖像對與相關評論，提取文本初步特征、圖像初步特征、立場變化特征與情感變化特征，輸入如權利要求1至7任一項所述的基于多模態對抗對比學習的謠言鑒別模型訓練方法訓練得到的多模態謠言鑒別模型；

利用模態鑒別器對齊所述文本初步特征與所述圖像初步特征，獲取模態不變特征；

利用特征鑒別器融合所述立場變化特征與所述情感變化特征，得到融合特定特征；

將所述模態不變特征與所述融合特定特征進行拼接，輸入多層感知器中，獲取謠言鑒別結果。