[發(fā)明專利]基于圖像情感傾向的多模態(tài)謠言檢測方法

有效

• 申請?zhí)枺?/td>: 202010940956.5
• 申請日: 2020-09-09
• 公開（公告）號: CN112035670B
• 公開（公告）日: 2021-05-14
• 發(fā)明（設(shè)計(jì)）人: 毛震東;張勇東;趙博文;付哲仁
• 申請（專利權(quán)）人: 中國科學(xué)技術(shù)大學(xué)
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06K9/62;G06N3/08
• 代理公司: 北京凱特來知識產(chǎn)權(quán)代理有限公司 11260
• 代理人: 鄭立明;韓珂

本發(fā)明公開了一種基于圖像情感傾向的多模態(tài)謠言檢測方法，一方面，此方法對圖中帶有文字的樣本有更好的針對性。同時(shí)，區(qū)別于以往使用情感分析的方法，基于條件變分自編碼器(CVAE)提出了提取圖像情感傾向的方法，通過測試可以觀察到其有效性。該方法只需使用單個(gè)圖像作為輸入便可以獲得精確的檢測結(jié)果，可以在謠言傳播初期迅速檢測并處理。

技術(shù)領(lǐng)域

本發(fā)明涉及網(wǎng)絡(luò)空間安全技術(shù)領(lǐng)域，尤其涉及一種基于圖像情感傾向的多模態(tài)謠言檢測方法。

背景技術(shù)

社交媒體的發(fā)展在加速信息傳播的同時(shí)，也帶來了虛假謠言信息的泛濫，往往會引發(fā)諸多不安定因素，并對經(jīng)濟(jì)和社會產(chǎn)生巨大的影響。當(dāng)今社交網(wǎng)絡(luò)平臺用戶早已破億，其傳播面廣、傳播迅速、使用面廣、不受時(shí)間空間限制和其放大鏡特征將信息影響力成倍放大。不切實(shí)際的謠言，“操縱”了輿論感情，誤導(dǎo)了公眾的判斷，更影響了社會穩(wěn)定，所以針對網(wǎng)絡(luò)謠言的自動和迅速檢測對網(wǎng)絡(luò)空間安全具有重要意義。

社交媒體謠言往往帶有一些具有明顯煽動性的特征，從這一角度出發(fā)，基于文本的情感分析的方法在謠言檢測中大放異彩，但隨著多媒體生產(chǎn)技術(shù)的發(fā)展，謠言逐漸以圖文并茂的方式吸引和誤導(dǎo)讀者，而且圖片往往視覺沖擊性很強(qiáng)，有豐富的潛在信息可以挖掘。另外，在海量的社交媒體數(shù)據(jù)中，圖像和文本信息并非以完全分離的形式呈現(xiàn)，仍有相當(dāng)一部分圖像數(shù)據(jù)中包含大量的文本，這部分文本往往蘊(yùn)含著與主題聯(lián)系緊密的語義信息，有助于建立圖像與情感傾向的聯(lián)系，但以往的多模態(tài)檢測方法并不能良好地把握住這一輔助信息。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于圖像情感傾向的多模態(tài)謠言檢測方法，只需使用單個(gè)圖像作為輸入便可以獲得精確的檢測結(jié)果，可以在謠言傳播初期迅速檢測并處理。

本發(fā)明的目的是通過以下技術(shù)方案實(shí)現(xiàn)的：

一種基于圖像情感傾向的多模態(tài)謠言檢測方法，包括：

訓(xùn)練階段，利用文本以及包含文字信息的圖像作為訓(xùn)練數(shù)據(jù)；對每一組由文本及圖像構(gòu)成的訓(xùn)練樣本，進(jìn)行多模態(tài)特征的提取，包括：文本特征、圖像特征以及圖像中的文字信息特征；基于條件變分自編碼器，結(jié)合圖像特征、圖像中的文字信息特征、文本特征、語義空間的隱變量，以及給定的情感傾向標(biāo)簽來更新先驗(yàn)分布及分類器，所述隱變量即為圖像的語義；

測試階段，對于待檢測圖像與相應(yīng)的文本，從圖像中提取出文字信息特征，結(jié)合更新后的先驗(yàn)分布采樣得到的隱變量解碼生成情感傾向，再與文本特征拼接，通過分類器得到待檢測圖像為謠言的概率。

由上述本發(fā)明提供的技術(shù)方案可以看出，一方面，此方法對圖中帶有文字的樣本有更好的針對性。同時(shí)，區(qū)別于以往使用情感分析的方法，基于條件變分自編碼器(CVAE)提出了“提取”圖像情感傾向的方法，通過測試可以觀察到其有效性。該方法只需使用單個(gè)圖像作為輸入便可以獲得精確的檢測結(jié)果，可以在謠言傳播初期迅速檢測并處理。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例的技術(shù)方案，下面將對實(shí)施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域的普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他附圖。

圖1為本發(fā)明實(shí)施例提供的一種基于圖像情感傾向的多模態(tài)謠言檢測方法的示意圖；

圖2為本發(fā)明實(shí)施例提供的圖像、文本、隱變量與情感傾向之間的關(guān)系示意圖。

具體實(shí)施方式

下面結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明的保護(hù)范圍。