[發明專利]細粒度的多模態虛假新聞檢測方法

在審

• 申請號: 202111152971.4
• 申請日: 2021-09-29
• 公開（公告）號: CN113934882A
• 公開（公告）日: 2022-01-14
• 發明（設計）人: 曹娟;亓鵬;何覃;謝添
• 申請（專利權）人: 北京中科睿鑒科技有限公司
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F40/295;G06V20/62;G06V10/74;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州九洲專利事務所有限公司 33101
• 代理人: 沈敏強

1.一種細粒度的多模態虛假新聞檢測方法，其特征在于：

獲取待檢測多模態新聞的新聞文本和新聞圖片；

從新聞文本中提取人物類型、地點類型和事件類型的文本實體；

從新聞圖片中提取圖片文本，人物類型、地點類型和事件類型的視覺實體，以及新聞圖片的視覺CNN特征，其中新聞圖片的視覺CNN特征包括分區域從該新聞圖片中提取出的視覺特征；

使用BERT模型獲取人物類型、地點類型和事件類型視覺實體的視覺實體特征；

將新聞文本與圖片文本拼接后輸入BERT模型，獲得文本特征；

利用多模態協同注意力Transformer模型融合文本特征、視覺CNN特征和視覺實體特征，獲得由視覺實體和視覺CNN特征增強的文本表示、由文本增強的視覺CNN表示和由文本增強的視覺實體表示；

基于文本實體和視覺實體的特征向量計算跨模態的人物相似度、地點相似度和事件相似度；

基于視覺實體和視覺CNN特征增強的文本表示、文本增強的視覺CNN表示和文本增強的視覺實體表示，以及跨模態的人物相似度、地點相似度和事件相似度計算所述多模態新聞的多模態表示；

基于多模態新聞的多模態表示判斷該多模態新聞的真實性。

2.根據權利要求1所述的細粒度的多模態虛假新聞檢測方法，其特征在于，所述利用多模態協同注意力Transformer模型融合文本特征、視覺CNN特征和視覺實體特征，獲得由視覺實體和視覺CNN特征增強的文本表示、由文本增強的視覺CNN表示和由文本增強的視覺實體表示，包括：

將文本特征和視覺實體特征輸入文本視覺實體協同注意力Transformer模型，獲得由視覺實體增強的文本表示和由文本增強的視覺實體表示；

將視覺實體增強的文本表示和視覺CNN特征輸入文本視覺特征協同注意力Transformer模型，獲得由視覺實體和視覺CNN特征增強的文本表示和由文本增強的視覺CNN表示。

3.根據權利要求1所述的細粒度的多模態虛假新聞檢測方法，其特征在于，所述從新聞圖片中提取新聞圖片的視覺CNN特征，包括：

將新聞圖片輸入VGG19模型，將原始圖片分割為m*m的區域，從VGG19模型的最后一層提取圖片的視覺CNN特征，視覺CNN特征包括該新聞圖片m*m個圖片區域的視覺特征。

4.根據權利要求1所述的細粒度的多模態虛假新聞檢測方法，其特征在于，所述從新聞圖片中提取人物類型、地點類型和事件類型的視覺實體，包括：

利用名人檢測模型識別圖片中的名人，作為人物類型的視覺實體；

利用預訓練的地標檢測模型識別圖片中的地標，作為地點類型的視覺實體；

通過特殊符號及服飾檢測模型識別圖片中的組織機構名，通過預訓練的圖像識別模型識別有沖擊力的視覺概念及通用的目標及場景標簽，作為事件類型的視覺實體。

5.根據權利要求1所述的細粒度的多模態虛假新聞檢測方法，其特征在于，基于文本實體和視覺實體的特征向量計算跨模態的人物相似度，包括：

其中，為跨模態的人物相似度；t和v分別為文本實體和視覺實體的特征向量；T_p為多模態新聞中文本人物實體集合；V_p為多模態新聞中視覺人物實體集合；ρ(v)表示新聞圖片包含視覺人物實體v的概率。