[發明專利]一種融合多尺度視覺信息的虛假新聞檢測方法及系統

有效

• 申請號: 202010459132.6
• 申請日: 2020-05-27
• 公開（公告）號: CN111797326B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 曹娟;亓鵬;謝添;劉浩遠;郭俊波
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06F16/9536
• 分類號: G06F16/9536;G06V10/82;G06V10/80;G06V10/764;G06N3/0464;G06N3/08
• 代理公司: 北京律誠同業知識產權代理有限公司 11006
• 代理人: 祁建國

本發明提出一種融合多尺度視覺信息的虛假新聞檢測方法，包括：頻域特征獲取步驟，以卷積神經網絡構建頻域子網絡模型，通過該頻域子網絡模型獲得輸入圖像的頻域特征表示；語義特征獲取步驟，以卷積神經網絡構建像素域子網絡模型，通過該像素域子網絡模型獲得該輸入圖像的語義特征表示；圖像檢測步驟，將該頻域特征表示與該語義特征表示進行融合，得到該輸入圖像的圖像表示，并根據該圖像表示獲得該輸入圖像為虛假新聞圖片的預測概率。本發明還提出一種融合多尺度視覺信息的虛假新聞檢測系統，以及一種計算機可讀存儲介質和包括該計算機可讀存儲介質的數據處理裝置。

技術領域

本發明涉及新聞可信度認證研究范疇，特別涉及一種融合多尺度視覺信息的虛假新聞檢測方法。

背景技術

近年來社交媒體憑借時效性強、成本低廉、互動性強、準入門檻低等優勢，已成為重要的新聞信息平臺，人們逐漸習慣在社交媒體上獲取最新的新聞并自由的發表自己的觀點。然而，社交媒體的便利性和開放性也為虛假新聞的傳播提供了極大的便利，造成了很多消極的社會影響。如，在某大型投票活動中的前一個月，平均每個參與者閱讀過1-3條知名媒體發布的假新聞。這些假新聞不可避免的對投票者進行了誤導，甚至很可能影響投票結果。因此，能否利用技術手段對虛假新聞進行自動檢測已經成為自媒體時代亟待解決的問題。

多媒體技術的發展促進了自媒體新聞從傳統的基于文本的新聞形式向基于多媒體內容的新聞形式轉變。與單純的文本內容相比，多媒體內容能夠更好的描述新聞事件，可信度更高且更容易吸引讀者的注意。然而，這一趨勢也給虛假新聞創造了新的契機。虛假新聞經常利用極具誤導性的甚至篡改的圖片去吸引和誤導讀者，從而促進虛假新聞的快速傳播。據統計，微博數據集上超過40％的虛假新聞都包含配圖。因此，視覺內容已經變成了虛假新聞不可忽視的一部分。

現有的虛假新聞檢測方法主要關注于文本內容及社交上下文。隨著多媒體內容的流行，研究人員開始結合視覺信息來檢測虛假新聞。這些基于視覺信息的工作可以被分為三類：基于視覺統計特征、視覺取證特征，以及視覺語義特征的工作。

基于視覺統計特征的工作使用對新聞中圖片的統計特征幫助甄別虛假新聞，如配圖的數目，圖片流行度，及圖片類型等。但是這些統計特征過于基本，無法刻畫虛假新聞復雜的視覺模式。

視覺取證特征通常被用于檢測圖片篡改。為了驗證新聞配圖的真實性，一些工作利用視覺取證特征，如塊狀效應等，來輔助虛假新聞的檢測。如，MediaEval在2015和2016年舉辦的多媒體認證任務，提供了7種視覺取證特征來幫助檢測多媒體內容的篡改和誤用。基于這些取證特征，L.Wu等人設計了更高層的取證特征，并結合文本特征及用戶特征來解決新聞認證問題。然而，大部分的取證特征都是為了檢測某種特定的篡改痕跡人工設計的，不能檢測虛假新聞圖片中未經篡改的真實圖片。另外，這些手工特征需要經過專家設計，耗費人力，而且不能捕捉到復雜的模式。這些限制導致視覺取證特征在實際的虛假新聞檢測任務中表現較差。

隨著卷積神經網絡的流行，大部分基于多媒體內容的工作使用預訓練的深度卷積神經網絡獲得通用的視覺表達，并和文本信息進行融合用于檢測虛假新聞。Z.Jin等第一次通過深度神經網絡的方法融合多模態的內容來解決虛假新聞檢測問題；Y.Wang等人提出了一種事件對抗的神經網絡，利用多模態的特征檢測新出現的虛假新聞事件；K.Dhruv等人提出了一種基于自編碼的方法來學習多模態信息的共享表達，用于進行虛假新聞檢測。然而，這些工作更加專注于如何融合不同模態的信息，忽略了對視覺內容這一模態的有效建模。由于缺乏任務相關的信息，這些工作所采取的通用的視覺表達不能反映虛假新聞圖片的本質特征，削弱了視覺內容在虛假新聞檢測任務中的表現。

發明內容