[發(fā)明專(zhuān)利]一種基于多模態(tài)對(duì)抗對(duì)比學(xué)習(xí)的謠言鑒別方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202310268846.2
• 申請(qǐng)日: 2023-03-20
• 公開(kāi)（公告）號(hào): CN116403229A
• 公開(kāi)（公告）日: 2023-07-07
• 發(fā)明（設(shè)計(jì)）人: 鄒婷;錢(qián)忠
• 申請(qǐng)（專(zhuān)利權(quán)）人: 蘇州大學(xué)
• 主分類(lèi)號(hào): G06V30/41
• 分類(lèi)號(hào): G06V30/41;G06V30/18;G06V30/19;G06V10/80;G06V10/82;G06N3/0475;G06N3/094
• 代理公司: 蘇州市中南偉業(yè)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 32257
• 代理人: 陳華紅子

本發(fā)明涉及一種基于多模態(tài)對(duì)抗對(duì)比學(xué)習(xí)的謠言鑒別模型訓(xùn)練方法，包括獲取樣本數(shù)據(jù)文本圖像對(duì)與相關(guān)評(píng)論；提取文本圖像對(duì)的文本初步特征與圖像初步特征，輸入模態(tài)鑒別器；利用對(duì)抗學(xué)習(xí)，最小最大化模態(tài)鑒別器損失，獲取模態(tài)不變特征；提取相關(guān)評(píng)論基于時(shí)序變化的立場(chǎng)變化特征與情感變化特征，輸入特征鑒別器中；利用對(duì)抗學(xué)習(xí)，最小最大化特征鑒別器損失，更新特征鑒別器，獲取融合特定特征；將模態(tài)不變特征與融合特定特征拼接輸入多層感知器，生成綜合多模態(tài)表征，與正負(fù)樣本計(jì)算對(duì)比損失，最小化來(lái)更新多層感知器參數(shù)；構(gòu)建目標(biāo)損失函數(shù)，最小化來(lái)更新多層感知器參數(shù)；對(duì)抗訓(xùn)練時(shí)，最大化目標(biāo)損失函數(shù)，更新模態(tài)鑒別器與特征鑒別器的參數(shù)。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)分析技術(shù)領(lǐng)域，尤其是指一種基于多模態(tài)對(duì)抗對(duì)比學(xué)習(xí)的謠言鑒別模型訓(xùn)練方法、謠言鑒別方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

大多數(shù)現(xiàn)有的謠言檢測(cè)方法都側(cè)重于文本數(shù)據(jù)，提取不同的文本特征來(lái)進(jìn)行謠言檢測(cè)。隨著多媒體技術(shù)的發(fā)展，視覺(jué)內(nèi)容已成為謠言的重要組成部分，通過(guò)吸引甚至誤導(dǎo)消費(fèi)者，從而實(shí)現(xiàn)事件論述和快速傳播。近年來(lái)多模態(tài)謠言檢測(cè)成為一個(gè)新的研究熱點(diǎn)，而從異構(gòu)的多模態(tài)數(shù)據(jù)中學(xué)習(xí)有效的特征表示也給謠言檢測(cè)任務(wù)帶來(lái)的更大的挑戰(zhàn)。先前工作主要通過(guò)一些簡(jiǎn)單運(yùn)算，如拼接、相加等，或者注意力機(jī)制融合跨模態(tài)信息。這些方法易于實(shí)現(xiàn)，雖然可以實(shí)現(xiàn)多模態(tài)融合，卻沒(méi)有考慮模態(tài)間和樣本間的差異性，造成了現(xiàn)有多模態(tài)謠言檢測(cè)模型的局限性。

Sun等提出了一種圖對(duì)抗對(duì)比模型GACL，將謠言的傳播用圖結(jié)構(gòu)來(lái)刻畫(huà)，然后結(jié)合對(duì)抗和對(duì)比學(xué)習(xí)來(lái)增強(qiáng)謠言傳播結(jié)構(gòu)的表示；GACL模型將對(duì)抗學(xué)習(xí)和對(duì)比學(xué)習(xí)應(yīng)用于謠言的傳播結(jié)構(gòu)來(lái)增強(qiáng)圖卷積學(xué)習(xí)到的圖表示，以此來(lái)提高在謠言檢測(cè)任務(wù)上的魯棒性。Wang等提出了一個(gè)用于多模態(tài)假新聞檢測(cè)的事件對(duì)抗性神經(jīng)網(wǎng)絡(luò)EANN，使用對(duì)抗學(xué)習(xí)的策略來(lái)去除樣本里事件間的差異性，模態(tài)融合時(shí)采用簡(jiǎn)單的拼接策略；EANN模型則使用了一種對(duì)抗神經(jīng)網(wǎng)絡(luò)的方法來(lái)去除樣本中不同事件的差異性，使得模型無(wú)論在面對(duì)哪種事件上帖子都能取得穩(wěn)定的謠言檢測(cè)效果。Xi?e等人提出了一個(gè)立場(chǎng)檢測(cè)與推理網(wǎng)絡(luò)SERN，該模型致力于從評(píng)論信息中提取網(wǎng)友的立場(chǎng)信息從而來(lái)推理該帖子是否是一個(gè)謠言；SERN提出了一種自動(dòng)學(xué)習(xí)評(píng)論數(shù)據(jù)中用戶(hù)立場(chǎng)信息的方法，該模型使用提取到的立場(chǎng)信息來(lái)幫助謠言檢測(cè)。

然而上述模型都缺乏對(duì)模態(tài)融合的進(jìn)一步研究，沒(méi)有考慮模態(tài)間的對(duì)齊，未能解決多模態(tài)數(shù)據(jù)中的異質(zhì)性問(wèn)題。而在實(shí)際的應(yīng)用場(chǎng)景中，目前社交媒體上的帖子幾乎都包含多模態(tài)信息，而以往的方法大多數(shù)都只考慮到單模態(tài)的文本信息，雖然目前對(duì)于文本語(yǔ)義信息提取的模型已經(jīng)很成熟，但僅依據(jù)文本語(yǔ)義信息也使得部分樣本難以被正確分類(lèi)。實(shí)際場(chǎng)景中，多模態(tài)信息是可獲得的，而且可為謠言檢測(cè)任務(wù)提供更多的線索，而多模態(tài)信息的引入，可以為我們提供更充分的信息，我們可以結(jié)合文本信息和圖像信息共同來(lái)判別謠言。然而，目前多模態(tài)謠言檢測(cè)的相關(guān)研究都忽略了模態(tài)間的差異性，沒(méi)有充分地考慮模態(tài)對(duì)齊問(wèn)題，簡(jiǎn)單的拼接或求和等多模態(tài)融合方法可能會(huì)給模型引入噪聲，這會(huì)削弱多模態(tài)數(shù)據(jù)的作用，也不利于開(kāi)發(fā)魯棒性更好的模型。

發(fā)明內(nèi)容

為此，本發(fā)明所要解決的技術(shù)問(wèn)題在于克服現(xiàn)有技術(shù)中多模態(tài)謠言檢測(cè)未考慮模態(tài)間差異性，導(dǎo)致檢測(cè)效果差的問(wèn)題。

為解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種基于多模態(tài)對(duì)抗對(duì)比學(xué)習(xí)的謠言鑒別模型訓(xùn)練方法，包括：

獲取訓(xùn)練集中樣本數(shù)據(jù)的文本圖像對(duì)與相關(guān)評(píng)論；

對(duì)所述文本圖像對(duì)進(jìn)行特征提取，獲取文本初步特征與圖像初步特征，輸入模態(tài)鑒別器中；

利用對(duì)抗學(xué)習(xí)，最小最大化模態(tài)鑒別器損失，更新模態(tài)鑒別器參數(shù)，將輸入的所述文本初步特征與所述圖像初步特征對(duì)齊后融合，生成模態(tài)不變特征；

提取相關(guān)評(píng)論基于時(shí)序變化的立場(chǎng)變化特征與情感變化特征，輸入特征鑒別器中；

利用對(duì)抗學(xué)習(xí)，最小最大化特征鑒別器損失，更新特征鑒別器參數(shù)，將所述立場(chǎng)變化特征與所述情感變化特征對(duì)齊后融合，生成融合特定特征；