[發(fā)明專利]基于圖像情感傾向的多模態(tài)謠言檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010940956.5
• 申請(qǐng)日: 2020-09-09
• 公開(kāi)（公告）號(hào): CN112035670B
• 公開(kāi)（公告）日: 2021-05-14
• 發(fā)明（設(shè)計(jì)）人: 毛震東;張勇東;趙博文;付哲仁
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)技術(shù)大學(xué)
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06K9/62;G06N3/08
• 代理公司: 北京凱特來(lái)知識(shí)產(chǎn)權(quán)代理有限公司 11260
• 代理人: 鄭立明;韓珂

1.一種基于圖像情感傾向的多模態(tài)謠言檢測(cè)方法，其特征在于，包括：

訓(xùn)練階段，利用文本以及包含文字信息的圖像作為訓(xùn)練數(shù)據(jù)；對(duì)每一組由文本及圖像構(gòu)成的訓(xùn)練樣本，進(jìn)行多模態(tài)特征的提取，包括：文本特征、圖像特征以及圖像中的文字信息特征；基于條件變分自編碼器，結(jié)合圖像特征、圖像中的文字信息特征、文本特征、語(yǔ)義空間的隱變量，以及給定的情感傾向標(biāo)簽來(lái)更新先驗(yàn)分布及分類器，包括：利用圖像特征I和給定的情感傾向標(biāo)簽Y得到后驗(yàn)分布以及初始化隱變量的先驗(yàn)分布p_θ(Z|I)，采樣一個(gè)隱變量，結(jié)合文字信息特征O解碼預(yù)測(cè)情感傾向，并計(jì)算出情感傾向標(biāo)簽的重構(gòu)誤差；通過(guò)KL散度最小化后驗(yàn)分布和先驗(yàn)分布的距離，并最小化情感傾向標(biāo)簽Y的重構(gòu)誤差，得到更新后的先驗(yàn)分布p_θ(Z|I)；從訓(xùn)練好的先驗(yàn)分布p_θ(Z|I)中采樣一個(gè)隱變量與文字信息特征O解碼生成情感傾向再與文本特征E拼接在一起輸入到一個(gè)分類器中判別是否為謠言；分類器利用設(shè)定的損失函數(shù)進(jìn)行訓(xùn)練；所述隱變量即為圖像的語(yǔ)義；

測(cè)試階段，對(duì)于待檢測(cè)圖像與相應(yīng)的文本，從圖像中提取出文字信息特征，結(jié)合更新后的先驗(yàn)分布采樣得到的隱變量解碼生成情感傾向，再與文本特征拼接，通過(guò)分類器得到待檢測(cè)圖像為謠言的概率。

2.根據(jù)權(quán)利要求1所述的一種基于圖像情感傾向的多模態(tài)謠言檢測(cè)方法，其特征在于，進(jìn)行多模態(tài)特征的提取之前進(jìn)行數(shù)據(jù)預(yù)處理，包括：

對(duì)于文本進(jìn)行去冗余操作，只保留文字信息，并拼接為文本序列；

對(duì)于圖像，進(jìn)行去噪處理。

3.根據(jù)權(quán)利要求1所述的一種基于圖像情感傾向的多模態(tài)謠言檢測(cè)方法，其特征在于，

通過(guò)預(yù)訓(xùn)練的GLoVe對(duì)文本進(jìn)行詞特征的向量化，并送入GRU進(jìn)行特征提取，獲得的語(yǔ)義向量即為文本特征；

通過(guò)預(yù)訓(xùn)練模型ResneXt提取圖像的通用特征表示，將預(yù)訓(xùn)練模型ResneXt最后一個(gè)池化層輸出的特征，作為圖像特征；

通過(guò)開(kāi)源的中文光學(xué)字符識(shí)別套件CNOCR獲取圖像中的OCR token的集合，集合中包含了圖像中字符的語(yǔ)義信息；再利用預(yù)訓(xùn)練的GLoVe對(duì)文本進(jìn)行向量化，最后經(jīng)線性變換得到文字信息特征。

4.根據(jù)權(quán)利要求1所述的一種基于圖像情感傾向的多模態(tài)謠言檢測(cè)方法，其特征在于，通過(guò)KL散度最小化后驗(yàn)分布和先驗(yàn)分布p_θ(Z|I)的距離，從而修正先驗(yàn)分布p_θ(Z|I)；并且，最小化情感傾向標(biāo)簽Y的重構(gòu)誤差，此過(guò)程的損失函數(shù)為：

上式中，θ，分別代表先驗(yàn)分布和后驗(yàn)分布中的相關(guān)可調(diào)參數(shù)，代表情感傾向標(biāo)簽Y的重構(gòu)誤差，p(Y|I)是CVAE損失函數(shù)中固定的形式。