[發(fā)明專利]細(xì)粒度的多模態(tài)虛假新聞檢測方法

在審

• 申請?zhí)枺?/td>: 202111152971.4
• 申請日: 2021-09-29
• 公開（公告）號: CN113934882A
• 公開（公告）日: 2022-01-14
• 發(fā)明（設(shè)計）人: 曹娟;亓鵬;何覃;謝添
• 申請（專利權(quán)）人: 北京中科睿鑒科技有限公司
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F40/295;G06V20/62;G06V10/74;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州九洲專利事務(wù)所有限公司 33101
• 代理人: 沈敏強(qiáng)

本發(fā)明涉及一種細(xì)粒度的多模態(tài)虛假新聞檢測方法，為：獲取待檢測多模態(tài)新聞的新聞文本和新聞圖片；從新聞文本中提取人物類型、地點類型和事件類型的文本實體；從新聞圖片中提取圖片文本，人物類型、地點類型和事件類型的視覺實體，以及新聞圖片的視覺CNN特征；將新聞文本與圖片文本拼接后輸入BERT模型，獲得文本特征；使用BERT模型獲取人物類型、地點類型和事件類型視覺實體的視覺實體特征；融合上述特征，獲得文本表示、視覺CNN表示和視覺實體表示；基于特征向量計算跨模態(tài)的人物相似度、地點相似度和事件相似度；基于上述信息計算所述多模態(tài)新聞的多模態(tài)表示；基于多模態(tài)新聞的多模態(tài)表示判斷該多模態(tài)新聞的真實性。

技術(shù)領(lǐng)域

本發(fā)明涉及一種細(xì)粒度的多模態(tài)虛假新聞檢測方法。適用于新聞可信度認(rèn)證領(lǐng)域。

背景技術(shù)

近年來社交媒體已成為重要的新聞信息來源，人們逐漸習(xí)慣在社交媒體上獲取最新的新聞并自由地發(fā)表自己的觀點。然而，社交媒體的便利性和開放性也為虛假新聞的傳播提供了極大的便利，造成了很多消極的社會影響。因此，能否利用技術(shù)手段對虛假新聞進(jìn)行自動檢測已經(jīng)成為自媒體時代亟待解決的問題。文本作為新聞事件的主要描述載體，是傳統(tǒng)虛假新聞檢測方法的關(guān)注重點。最近，假新聞從傳統(tǒng)的基于文本的新聞形式逐步向基于多模態(tài)內(nèi)容的新聞形式演變。因此，基于多模態(tài)內(nèi)容(本專利中指文本和圖像模態(tài))的檢測方法，即多模態(tài)虛假新聞檢測，成為當(dāng)前的研究熱點。

目前多模態(tài)虛假新聞檢測任務(wù)中最常用的多模態(tài)融合框架是：利用預(yù)訓(xùn)練的VGG19模型提取通用的視覺特征，然后將其與文本特征進(jìn)行簡單拼接用于分類?；谶@個框架，Wang等人引入事件分類作為假新聞分類的輔助任務(wù)，以指導(dǎo)模型學(xué)習(xí)事件不變的多模態(tài)特征，從而獲得更好的泛化效果；Wang等人提出了一種元神經(jīng)過程的方法來檢測突發(fā)事件中的假新聞；Dhruv等人將此框架修改為多模態(tài)變分自動編碼器，以學(xué)習(xí)多模態(tài)內(nèi)容的共享表示用于分類；Singhal等人首次將預(yù)訓(xùn)練語言模型(文中指BERT)引入該框架。

盡管這些方法在多模態(tài)虛假新聞檢測任務(wù)上取得了顯著進(jìn)展，他們在建模多模態(tài)表達(dá)上仍存在不足。現(xiàn)有方法往往利用通用的多模態(tài)特征表達(dá)進(jìn)行分類，忽略了如何針對虛假新聞檢測的具體任務(wù)建模有效的多模態(tài)表達(dá)，從而限制了多模態(tài)內(nèi)容在檢測中的有效性。具體地，1)利用在ImageNet上預(yù)訓(xùn)練的VGG19 模型提取圖片的全局視覺特征，忽略了圖片局部展現(xiàn)的高層語義。這種對圖片內(nèi)容的粗粒度建模導(dǎo)致他們無法充分建模圖片中的有效線索，進(jìn)而很難實現(xiàn)有效的多模態(tài)推理；2)通過簡單的拼接等方式進(jìn)行粗粒度的多模態(tài)特征融合，忽略了虛假新聞中圖文交互的復(fù)雜性，進(jìn)而無法充分捕捉潛在的多模態(tài)線索。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是：針對上述存在的問題，提供一種細(xì)粒度的多模態(tài)虛假新聞檢測方法。

本發(fā)明所采用的技術(shù)方案是：一種細(xì)粒度的多模態(tài)虛假新聞檢測方法，其特征在于：

獲取待檢測多模態(tài)新聞的新聞文本和新聞圖片；

從新聞文本中提取人物類型、地點類型和事件類型的文本實體；

從新聞圖片中提取圖片文本，人物類型、地點類型和事件類型的視覺實體，以及新聞圖片的視覺CNN特征，其中新聞圖片的視覺CNN特征包括分區(qū)域從該新聞圖片中提取出的視覺特征；

將新聞文本與圖片文本拼接后輸入BERT模型，獲得文本特征；

使用BERT模型獲取人物類型、地點類型和事件類型視覺實體的視覺實體特征；

利用多模態(tài)協(xié)同注意力Transformer模型融合文本特征、視覺CNN特征和視覺實體特征，獲得由視覺實體和視覺CNN特征增強(qiáng)的文本表示、由文本增強(qiáng)的視覺CNN表示和由文本增強(qiáng)的視覺實體表示；

基于文本實體和視覺實體的特征向量計算跨模態(tài)的人物相似度、地點相似度和事件相似度；