[發明專利]基于人臉識別和分層融合策略的多模態惡意迷因圖檢測方法

在審

• 申請號: 202210036924.1
• 申請日: 2022-01-12
• 公開（公告）號: CN114419409A
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 張益嘉;候碩;魯明羽
• 申請（專利權）人: 大連海事大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/764;G06V10/82;G06V40/16;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 陳麗;李洪福

1.一種基于人臉識別和分層融合策略的多模態惡意迷因圖檢測方法，其特征在于，包括：

S1：獲取待檢測迷因圖中三種模態的數據；所述三種模態分別為文本、圖像和屬性；

S2、對三種模態數據的數據表示，得到圖像引導向量、屬性引導向量和文本引導向量；

S3：使用雙向長短期記憶網絡Bi-LSTM對三種模態的數據表示進行前期融合；其中，使用非線性變換的屬性引導向量作為Bi-LSTM的初始狀態；

S4：采用表示融合以及模態融合將三種模態的數據融合在一起，最終輸出一個融合之后的向量；表示融合包括：借助來自不同模態的低級原始向量和高級引導向量來重建特征向量；模態融合包括：將每個模態的特征向量轉換為固定長度形式，采用兩層前饋神經網絡計算每個模態的注意權重，將所述注意權重用于轉換形成的特征向量的加權平均，得到固定長度的單一向量；

S5：對融合之后的向量通過softmax分類器進行分類，得到待檢測迷因圖是否為惡意迷因圖的預測結果。

2.根據權利要求1所述的一種基于人臉識別和分層融合策略的多模態惡意迷因圖檢測方法，其特征在于，獲取待檢測迷因圖中的圖像數據包括：使用殘差網絡ResNet從待檢測迷因圖中提取圖像特征；

獲取待檢測迷因圖中的屬性數據包括：由Fair-Face人臉分類器創建種族和性別標簽；利用Fair-Face人臉分類器檢測和分類圖像中的每個人臉或頭部；將所述種族和性別標簽映射回具有人臉準確區域的人的邊界框；將種族和性別作為屬性特征；同時，利用YOLO-v5目標檢測模型提取圖片中的其他物體作為圖像的屬性特征；

獲取待檢測迷因圖中的文本數據包括：使用雙向長短時記憶網絡從待檢測迷因圖中提取文本特征。

3.根據權利要求2所述的一種基于人臉識別和分層融合策略的多模態惡意迷因圖檢測方法，其特征在于，獲取待檢測迷因圖中的屬性數據包括：

在Fair-Face以及YOLO-v5提取的諸多屬性中，選取其中五個屬性的單詞嵌入作為原始屬性向量，其中兩個屬性應為圖像中人臉的性別和種族，若無人臉信息，則五個屬性均為目標檢測的屬性特征。

4.根據權利要求3所述的一種基于人臉識別和分層融合策略的多模態惡意迷因圖檢測方法，其特征在于，圖像特征表示包括：

圖像引導向量v_image是ResNet輸出的所有區域特征向量的平均值；

式中，N_r是區域數；

屬性特征表示包括：

通過對原始屬性向量加權平均生成屬性引導向量；

原始屬性向量e(a_i)通過兩層神經網絡獲得與所述原始屬性向量對應的注意力權重a_i，用于構建屬性引導向量v_attr；如下所示：

α_i＝W₂·tanh(W₁·e(a_i)+b₁)+b₂；

α_i＝softmax(α_i)；

其中，α_i是第i個圖像屬性，e是GloVe嵌入操作；W₁和W₂是權重矩陣；b₁和b₂是偏差；N_a是屬性的數量；

文本特征表示包括：

文本引導向量是每個時間步中雙向長短期記憶網絡輸出的迷因圖文本表示的算術平均值：

其中L是迷因圖文本的長度。

5.根據權利要求1所述的一種基于人臉識別和分層融合策略的多模態惡意迷因圖檢測方法，其特征在于，對融合之后的向量通過softmax分類器進行分類，包括：

使用兩層完全連接的神經網絡作為分類層，隱藏層和輸出層的激活函數分別為元素級ReLu函數和sigmoid函數，損失函數是交叉熵。