[發(fā)明專利]一種基于多模態(tài)關(guān)系的網(wǎng)絡(luò)謠言檢測方法

有效

• 申請?zhí)枺?/td>: 201911379313.1
• 申請日: 2019-12-27
• 公開（公告）號: CN111079444B
• 公開（公告）日: 2020-09-29
• 發(fā)明（設(shè)計）人: 張勇東;毛震東;鄧旭冉;趙博文
• 申請（專利權(quán)）人: 北京中科研究院;中國科學(xué)技術(shù)大學(xué)
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06K9/46;G06K9/62;G06N3/04;G06N3/08;G06Q50/00
• 代理公司: 北京凱特來知識產(chǎn)權(quán)代理有限公司 11260
• 代理人: 鄭立明;鄭哲

本發(fā)明公開了一種基于多模態(tài)關(guān)系的網(wǎng)絡(luò)謠言檢測方法，包括：獲取網(wǎng)絡(luò)平臺上發(fā)布的待檢測的圖像與相關(guān)的文本；通過預(yù)訓(xùn)練fasterR?CNN模型提取出圖像中包含不同類別物體的視覺特征向量；對文本進(jìn)行預(yù)處理后，通過GRU進(jìn)行語義向量的提取；通過注意力機(jī)制，捕捉視覺特征向量與語義向量的重要程度，并實現(xiàn)圖像與文本之間跨模態(tài)關(guān)聯(lián)，從而更新視覺特征向量與語義向量；并且，對于視覺特征向量與語義向量，通過注意力機(jī)制各自建模內(nèi)部動態(tài)信息的關(guān)系，從而更新視覺特征向量與語義向量；將兩部分更新得到的視覺特征向量與語義向量連接在一起，再通過二分類器，獲得待檢測的信息為謠言與真實類別的概率。該方法能夠自動判斷待檢測信息是否屬于網(wǎng)絡(luò)謠言，且具有較高的檢測準(zhǔn)確度。

技術(shù)領(lǐng)域

本發(fā)明涉及網(wǎng)絡(luò)空間安全技術(shù)領(lǐng)域，尤其涉及一種基于多模態(tài)關(guān)系的網(wǎng)絡(luò)謠言檢測方法。

背景技術(shù)

網(wǎng)絡(luò)社會的崛起使得機(jī)遇與挑戰(zhàn)并存，尤其是互聯(lián)網(wǎng)接入的低準(zhǔn)入門檻和信息傳播的自由性嚴(yán)重影響了網(wǎng)絡(luò)空間的穩(wěn)定，網(wǎng)絡(luò)謠言的肆意傳播就是其中一個必須引起重視的問題。當(dāng)今社交網(wǎng)絡(luò)平臺用戶早已破億，活躍度極高，其傳播面廣、傳播迅速、使用面廣、不受時間空間限制和其放大鏡特征將信息影響力成倍放大，尤其是一些敏感話題、焦點事件、熱點問題、重大公共事件、突發(fā)事件一夕之間家喻戶曉，或造成信任缺失、政府、企業(yè)形象受損、民怨沸騰，所以針對網(wǎng)絡(luò)謠言的自動和迅速檢測對網(wǎng)絡(luò)空間安全具有重要意義。

隨著多媒體技術(shù)的發(fā)展，無論自媒體還是專業(yè)媒體都開始向基于圖、文、短視頻的多媒體新聞形式轉(zhuǎn)變。多媒體內(nèi)容承載著更加豐富與直觀的信息，能夠更好地描述新聞事件，且更易廣泛傳播。研究表明，帶圖片流量媒體的平均轉(zhuǎn)發(fā)次數(shù)是純文本的11倍。正因如此，虛假的新聞或謠言經(jīng)常使用極具煽動性的圖片來吸引和誤導(dǎo)讀者，從而快速且廣泛地傳播，這使得對視覺模態(tài)內(nèi)容的檢測已經(jīng)成為應(yīng)對網(wǎng)絡(luò)謠言挑戰(zhàn)的不容忽視的一部分。

傳統(tǒng)的基于視覺模態(tài)內(nèi)容進(jìn)行虛假內(nèi)容檢測的工作主要是利用傳統(tǒng)的手工特征，如視覺清晰度、視覺相似度直方圖、雙重JPEG壓縮痕跡等，這些手段往往對粗糙的圖片篡改有很好的效果，但隨著生成圖片技術(shù)不斷提高，這些方法在不能保證精度的同時也顯著提高了資源成本要求。

近年來，隨著神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)模型的快速發(fā)展，相應(yīng)的檢測技術(shù)應(yīng)運(yùn)而生并取得了巨大成功。在虛假信息檢測中，也產(chǎn)生了同時利用文本和視覺模態(tài)信息來判別新聞的真實性的多模態(tài)檢測方法。在現(xiàn)有工作中，具有代表性的包括：attRNN、EANN和MVAE。這些方法雖然在多模態(tài)形式的虛假信息檢測中提供了啟發(fā)式的思路，但仍有很大缺點。一是對于圖像和文本兩種信息的提取過程仍比較粗糙，尤其是圖片的語義特征；二是在特征融合階段往往都是將兩種模態(tài)特征簡單拼接，難以表達(dá)模態(tài)間的交互與關(guān)聯(lián)。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于多模態(tài)關(guān)系的網(wǎng)絡(luò)謠言檢測方法，能夠自動判斷待檢測信息是否屬于網(wǎng)絡(luò)謠言，且具有較高的檢測準(zhǔn)確度。

本發(fā)明的目的是通過以下技術(shù)方案實現(xiàn)的：

一種基于多模態(tài)關(guān)系的網(wǎng)絡(luò)謠言檢測方法，包括：

獲取網(wǎng)絡(luò)平臺上發(fā)布的待檢測的信息，包括圖像以及相關(guān)的文本；

對于圖像，通過預(yù)訓(xùn)練的fasterR-CNN模型提取出圖像中包含不同類別物體的視覺特征向量；

對于文本，進(jìn)行預(yù)處理后，通過門控循環(huán)單元進(jìn)行語義向量的提取；

通過注意力機(jī)制，捕捉視覺特征向量與語義向量的重要程度，并實現(xiàn)圖像與文本之間跨模態(tài)關(guān)聯(lián)，從而更新視覺特征向量與語義向量；并且，基于更新后的視覺特征向量與語義向量，通過注意力機(jī)制各自建模內(nèi)部動態(tài)信息的關(guān)系，從而再次更新視覺特征向量與語義向量；將再次更新得到的視覺特征向量與語義向量連接在一起，再通過一個二分類器，獲得待檢測的信息為謠言類別與真實類別的概率。