[發(fā)明專利]一種基于多模態(tài)交互的謠言檢測(cè)方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210163061.4
• 申請(qǐng)日: 2022-02-22
• 公開（公告）號(hào): CN114548274A
• 公開（公告）日: 2022-05-27
• 發(fā)明（設(shè)計(jì)）人: 王新剛;呂建東;趙晶
• 申請(qǐng)（專利權(quán)）人: 齊魯工業(yè)大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06V20/30;G06F16/35;G06F40/289;G06N3/04
• 代理公司: 濟(jì)南圣達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 37221
• 代理人: 楊琪

本發(fā)明提供了一種基于多模態(tài)交互的謠言檢測(cè)方法及系統(tǒng)，包括：獲取若干條待檢測(cè)推文；提取每條待檢測(cè)推文的序列增強(qiáng)文本特征；提取每條待檢測(cè)推文的序列增強(qiáng)視覺特征；基于序列增強(qiáng)文本特征和序列增強(qiáng)視覺特征，使用交互使用注意力機(jī)制，獲得帶有文本注意力的視覺特征和帶有視覺注意力的文本特征，并基于帶有文本注意力的視覺特征和帶有視覺注意力的文本特征，生成視覺特征和文本特征；將帶有文本注意力的視覺特征、帶有視覺注意力的文本特征、視覺特征和文本特征進(jìn)行特征融合，基于融合后的特征，得到每條待檢測(cè)推文是否為謠言的結(jié)果。能夠有效地融合待檢測(cè)推文中的多模態(tài)數(shù)據(jù)并生成聯(lián)合表示，提高了謠言檢測(cè)的精度。

技術(shù)領(lǐng)域

本發(fā)明屬于自然語(yǔ)言處理技術(shù)領(lǐng)域，尤其涉及一種基于多模態(tài)交互的謠言檢測(cè)方法及系統(tǒng)。

背景技術(shù)

本部分的陳述僅僅是提供了與本發(fā)明相關(guān)的背景技術(shù)信息，不必然構(gòu)成在先技術(shù)。

伴隨著硬件技術(shù)的提升與網(wǎng)絡(luò)技術(shù)的進(jìn)步，社交媒體獲得了前所未有的發(fā)展，已經(jīng)成為人們?nèi)粘Ｉ钪胁豢苫蛉钡囊徊糠帧Ｉ缃幻襟w因其低成本、容易訪問(wèn)與傳播速度迅速等特點(diǎn)，使其成為重要的新聞來(lái)源并對(duì)傳統(tǒng)媒體起到支撐作用。社交媒體上的信息已被用于市場(chǎng)營(yíng)銷、公共事件討論和輿情分析、謠言檢測(cè)等多個(gè)領(lǐng)域。用戶在社交媒體平臺(tái)便捷的發(fā)布觀點(diǎn)、獲取新聞、相互交流。與此同時(shí)，假新聞與謠言也通過(guò)社交媒體迅速傳播，誤導(dǎo)公眾甚至造成惡劣的社會(huì)影響。鑒于人工檢測(cè)花銷巨大且檢測(cè)速度較慢，自動(dòng)謠言檢測(cè)方法就顯得尤為重要。

以往的研究集中于使用手工特征或基于深度學(xué)習(xí)的單模態(tài)特征進(jìn)行謠言檢測(cè)，缺點(diǎn)在于忽略了推文中多模態(tài)數(shù)據(jù)的互補(bǔ)性。相較于推文中的文本內(nèi)容，推文中的視頻、圖像等視覺元素更能吸引讀者的注意力。因此，也有一部分方法綜合分析推文中的多模態(tài)內(nèi)容進(jìn)行謠言檢測(cè)。但是，這些方法大部分在異質(zhì)模態(tài)空間融合數(shù)據(jù)，無(wú)法避免多模態(tài)數(shù)據(jù)間的數(shù)值性差異，難以捕捉異質(zhì)模態(tài)數(shù)據(jù)間依賴關(guān)系。

發(fā)明內(nèi)容

為了解決上述背景技術(shù)中存在的技術(shù)問(wèn)題，本發(fā)明提供一種基于多模態(tài)交互的謠言檢測(cè)方法及系統(tǒng)，能夠有效地融合待檢測(cè)推文中的多模態(tài)數(shù)據(jù)并生成聯(lián)合表示，提高了謠言檢測(cè)的精度。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

本發(fā)明的第一個(gè)方面提供一種基于多模態(tài)交互的謠言檢測(cè)方法，其包括：

獲取若干條包含文本內(nèi)容與視覺內(nèi)容的待檢測(cè)推文；

基于每條待檢測(cè)推文的文本內(nèi)容，提取每條待檢測(cè)推文的序列增強(qiáng)文本特征；

基于每條待檢測(cè)推文的視覺內(nèi)容，提取每條待檢測(cè)推文的序列增強(qiáng)視覺特征；

基于序列增強(qiáng)文本特征和序列增強(qiáng)視覺特征，使用交互使用注意力機(jī)制，獲得帶有文本注意力的視覺特征和帶有視覺注意力的文本特征，并基于帶有文本注意力的視覺特征和帶有視覺注意力的文本特征，生成視覺特征和文本特征；

將帶有文本注意力的視覺特征、帶有視覺注意力的文本特征、視覺特征和文本特征進(jìn)行特征融合，得到融合后的特征；

基于融合后的特征，得到每條待檢測(cè)推文是否為謠言的結(jié)果。

進(jìn)一步的，所述生成視覺特征和文本特征的具體方法為：

以帶有視覺注意力的文本特征為輸入矩陣，以帶有文本注意力的視覺特征為目標(biāo)矩陣，通過(guò)Transformer映射得到視覺特征；

以帶有文本注意力的視覺特征為輸入矩陣，以帶有視覺注意力的文本特征為目標(biāo)矩陣，通過(guò)Transformer映射得到文本特征。

進(jìn)一步的，所述特征融合的具體方法為：

將帶有文本注意力的視覺特征與視覺特征拼接后，通過(guò)由全連接層組成的融合識(shí)別塊，得到第一早期融合結(jié)果；