[發明專利]基于人臉識別和分層融合策略的多模態惡意迷因圖檢測方法

在審

• 申請號: 202210036924.1
• 申請日: 2022-01-12
• 公開（公告）號: CN114419409A
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 張益嘉;候碩;魯明羽
• 申請（專利權）人: 大連海事大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/764;G06V10/82;G06V40/16;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 陳麗;李洪福

本發明公開了一種基于人臉識別和分層融合策略的多模態惡意迷因圖檢測方法，涉及自然語言處理技術領域。本發明引入了一種新的多模態融合模型，并對圖像和文本進行多模態訓練。這個多特征融合網絡首先使用ResNet和YOLO?v5提取圖像特征和屬性特征，然后使用屬性特征和雙向LSTM網絡提取文本特征。在提取屬性特征的同時，引入了人臉識別器來獲取迷因圖中人臉的種族和性別信息，這樣可以更好地捕捉到仇恨情緒。然后將三種模態的特征重建并融合到一個特征向量中進行預測。評估結果表明，該模型在檢測仇恨迷因圖方面的性能達到了更高的水平。

技術領域

本發明涉及自然語言處理技術領域，尤其是涉及基于人臉識別和分層融合策略的多模態惡意迷因圖檢測方法。

背景技術

互聯網正在對日常生活產生巨大影響，在互聯網上的虛擬存在不僅反映了人們的個性和信仰，還反映了人們的偏見和偏見，每天有數十億人與各種在線內容互動。其中，迷因圖通常是將圖片與特定的文字(通常是對圖片內容的拓展或者曲解)組合到一起以達到一種幽默的效果，迷因圖多年來廣受歡迎，在不同的社交媒體平臺上發布的數量了超過1.8億個。雖然其中一些內容非常有趣，但越來越多的內容也是有害和可恨的，帶有仇恨情緒，稱之為“惡意迷因圖”。需要付出越來越多的努力來快速檢測此類迷因圖，擴大審查工作并做出自動決定刪除惡意迷因圖，以盡量減少對讀者造成的傷害。

惡意迷因圖檢測可以被視為典型的視覺語言(VL)任務。此類問題近年來受到了很多關注，在視覺問答(VQA)和圖像字幕等重要問題上可以看到顯著進展。具體來說，多模態迷因圖檢測任務與VQA非常相似，它根據輸入圖像和問題預測答案。

最近的VQA方法使用多模態融合框架工作，該框架使用相應的編碼器對圖像和問題進行編碼，然后將它們融合以獲得最終預測。通常，給定的圖像使用基于卷積神經網絡(CNN)的編碼器進行編碼，句子使用基于循環神經網絡(RNN)的編碼器進行編碼。隨著Transformer網絡的進步，許多工作將多頭自注意力機制納入其方法，從而實現了性能的顯著提升。Transformer最重要的部分是self-attention機制，它將輸入特征轉換為具有多頭注意力的上下文表示，使其成為在不同模式之間共享信息的優秀框架。

盡管這兩個任務之間存在相似性，但由于其特殊性，將VQA中的方法應用于迷因圖檢測將面臨一些問題。首先，迷因圖中的句子不像VQA中的句子，它主要基于圖像內容而不是問題。其次，迷因圖有不止一種模態——惡意迷因圖中的每個樣本都由文本和圖像信息組成——一種模態可能看起來是非惡意的，而另一種模態可能是惡意的(單模態惡意)。例如，非惡意文本可能與惡意圖像結合。如果圖像被更改，惡意迷因圖將變為非惡意，如圖1所示。除此之外，在典型的視覺語言多模態數據集中，圖像和文本之間存在直接關系，傳統的多模態模型在處理時能更好地將文本與圖像之間建立聯系。而多模態迷因圖的文本和圖像之間的聯系更多是隱性的聯系。

發明內容

有鑒于此，本發明提供了基于人臉識別和分層融合策略的多模態惡意迷因圖檢測方法，以解決傳統模型無法充分進行跨模態之間的信息交互的問題，以此來提高多模態惡意迷因圖檢測的準確度。

為此，本發明提供了以下技術方案：

一方面，本發明提供了一種基于人臉識別和分層融合策略的多模態惡意迷因圖檢測方法，包括：

S1：獲取待檢測迷因圖中三種模態的數據；所述三種模態分別為文本、圖像和屬性；

S2、對三種模態數據的數據表示，得到圖像引導向量、屬性引導向量和文本引導向量；

S3：使用雙向長短期記憶網絡Bi-LSTM對三種模態的數據表示進行前期融合；其中，使用非線性變換的屬性引導向量作為Bi-LSTM的初始狀態；