[發明專利]融合多模態學習與多粒度結構學習的謠言檢測方法及裝置

在審

• 申請號: 202111188521.0
• 申請日: 2021-10-12
• 公開（公告）號: CN113822224A
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 李東升;蹇松雷;彭麗雯;喬林波;黃震;黃辰林;闞志剛
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62
• 代理公司: 湖南兆弘專利事務所(普通合伙) 43008
• 代理人: 胡君;鄒大堅

本發明公開一種融合多模態學習與多粒度結構學習的謠言檢測方法及裝置，該方法步驟包括：S01.獲取待檢測數據集中新聞信息的文本模態數據和圖像模態數據；S02.分別提取文本模態數據和圖像模態數據的單模態特征表示，并映射到同一個多模態特征空間，得到多模態特征表示；S03.從多模態特征表示中，提取文本模態和圖像模態的數據結構特征，以及捕獲文本模態和圖像模態之間的跨模態特征關系；S04.根據數據結構特征以及跨模態特征關系，得到所有新聞信息的融合多模態特征表示；S05.將融合多模態特征表示輸入到預先構建的謠言檢測網絡中，檢測出新聞信息是否為謠言。本發明具有實現方法簡單、檢測效率與精度高且抗干擾性強等優點。

技術領域

本發明涉及智能謠言檢測技術領域，尤其涉及一種融合多模態學習與多粒度結構學習的謠言檢測方法及裝置。

背景技術

隨著越來越多的人們傾向于在社交平臺上瀏覽新聞、分享見聞、表達自己的觀點，社交平臺上的謠言傳播也變得更加廣泛和迅速。謠言，通常意味著低質量的包含虛假錯誤信息的新聞。謠言的傳播不僅會破壞信息的可信性，誤導人們相信虛假的內容，甚至還可能會造成恐慌。因此，為了提高信息的可信度和減弱謠言可能帶來的危害，有效的謠言檢測方法是非常必要和急需的。

傳統的謠言檢測方法通常是依賴于新聞的文本內容來判斷其是否為謠言，即將若干人工定義的文本語法特征或語義特征組合作為新聞的特征，比如詞頻統計、大小寫數目、特殊符號、表情符號、情感傾向、評論詞匯等等，通過提取這類特征來判斷新聞是否為謠言。但是由于人工定義的文本特征通常高度依賴于文本的寫作習慣和文本內容所屬的特定領域，而社交網絡上的文本數據量巨大，且是來源于各個不同的領域，僅僅使用文本特征來檢測社交網絡上來自各個領域的不同出處的謠言明顯是不夠高效的。

隨著圖像和視頻等視覺信息在社交平臺上的廣泛使用，研究者們開始探索同時結合新聞的文本和圖像信息的謠言檢測方式。由于相比于文本內容，圖像和視頻等視覺信息更能吸引人們的注意力，因此在檢測謠言方面，視覺信息比文本更加具有可識別性，因而結合文本與圖像信息可以實現更為有效的謠言檢測。但是，針對于結合新聞的文本和圖像信息實現謠言檢測，目前通常都是先各自學習文本和圖像兩個不同模態的單模態特征，然后簡單地拼接單模態特征后用于謠言檢測，或者簡單的使用VAE(變分自動編碼器)重構特征來獲得新聞的多模態特征后用于謠言檢測，上述方式仍然會存在以下問題：

1、僅能夠獲取文本和圖像模態的單模態特征，而無法捕獲文本和圖像模態內部的更細粒度的特征，而單模態特征易于被另一個模態中的噪聲信息所影響，直接基于單模態特征進行謠言檢測的檢測精度不高；

2、僅能夠獲取文本和圖像模態在各自模態下的特征，無法有效捕獲跨模態的特征，因而不能夠充分的表征新聞信息在文本模態與圖像模態之間的跨模態特征特性，致使影響最終的謠言檢測精度。

發明內容

本發明要解決的技術問題就在于：針對現有技術存在的技術問題，本發明提供一種實現方法簡單、檢測效率與精度高且抗干擾性強的融合多模態學習與多粒度結構學習的謠言檢測方法及裝置。

為解決上述技術問題，本發明提出的技術方案為：

一種融合多模態學習與多粒度結構學習的謠言檢測方法，步驟包括：

S01.獲取待檢測數據集中新聞信息的文本模態數據和圖像模態數據；

S02.分別提取所述文本模態數據和圖像模態數據的單模態特征表示，并映射到同一個多模態特征空間，得到文本模態和圖像模態的多模態特征表示；

S03.從所述多模態特征表示中，提取文本模態和圖像模態的單模態數據結構特征，以及捕獲文本模態和圖像模態之間的跨模態特征關系；

S04.根據所述單模態數據結構特征以及跨模態特征關系，得到待檢測數據集中所有新聞信息的融合多模態特征表示；