[發明專利]一種基于雙注意力多層特征融合的圖片情感分類方法

在審

• 申請號: 202010530306.3
• 申請日: 2020-06-11
• 公開（公告）號: CN111832620A
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 蔡國永;儲陽陽
• 申請（專利權）人: 桂林電子科技大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 蘇州國卓知識產權代理有限公司 32331
• 代理人: 周鑫

本發明公開了一種基于雙注意力多層特征融合的圖片情感分類方法，屬于圖像處理技術領域。該基于雙注意力多層特征融合的圖片情感分類方法包括一個多層次特征提取網絡、雙注意力機制和注意力特征融合的情感分類模塊，該方法首先通過多層次特征提取網絡提取圖像多通道的多層次特征；然后通過空間注意力機制對多通道的低層特征賦予空間注意力權重，通過通道注意力機制對多通道的高層特征賦予通道注意力權重，分別強化不同層次的特征表示。本發明設計合理，充分利用了圖像不同層次特征的互補性，同時充分考慮到了特征的空間信息和不同通道特征的語義差異，通過注意力機制增強了特征表示，從而提升了圖片情感分類的效果。

技術領域

本發明涉及圖像處理技術領域，具體為一種基于雙注意力多層特征融合的圖片情感分類方法。

背景技術

社交網絡在人們日常生活中發揮著重要作用，隨著移動終端技術的發展和可拍照設備的普及，越來越多的社交用戶每天通過社交媒體創建和分享海量文本、圖像和視頻內容，針對這些內容的情感分析被廣泛應用于推薦、廣告、輿情監控等領域。圖像情感分類需要解決圖像視覺特征和情感語義之間的“情感鴻溝”，同時由于情感的復雜性和主觀性，情感分析極具挑戰性。

已有研究表明，圖像情感與圖像的不同層次的視覺特征相關。早期的圖像情感分類研究主要利用圖像的低層特征，如顏色、紋理等，有一些利用構圖等藝術特征作為圖像的中層特征進行情感分析，還有一些利用語義內容等高層特征進行圖像情感分類。近年來深度學習特別是卷積神經網絡(CNN)在視覺識別領域展現出優異性能，基于深度學習的圖像情感分類方法也已經取得了不錯的效果，但在克服“情感鴻溝”方面仍然有提升空間。

一幅圖像傳達的情感不僅由圖像的語義內容等高層特征所反映，還與圖像的低層視覺特征相關。現有的圖像情感分類方法并沒有充分利用多層次特征同時對特征的空間信息和不同通道特征的語義挖掘不足，這使得其性能受到限制。因此，需要一種新的圖像情感分類方法克服現有方法所存在的這些問題。

發明內容

本發明的目的在于提供一種基于雙注意力多層特征融合的圖片情感分類方法，以解決上述背景技術中提出的現有的基于深度學習的圖片情感分類方法未能充分利用多層次特征且特征表達能力不足的問題。

為實現上述目的，本發明提供如下技術方案：一種基于雙注意力多層特征融合的圖片情感分類方法，該基于雙注意力多層特征融合的圖片情感分類方法的具體分類步驟如下：

S1：準備用于訓練模型的情感圖像數據集，對數據集進行擴充，并將數據集中圖像樣本的尺寸調整為224×224×3；

S2：通過多層次特征提取網絡提取S1中圖像樣本的多層次特征，即高層特征f^h和低層特征f^l；

S3：通過雙注意力機制對S2提取的特征進行強化表示，通過空間注意力對低層特征f^l強化得到；

S4：融合強化后的注意力特征，得到判別性特征f，將其輸入到softmax情感分類器計算情感類別概率，最終將概率最大的情感類別作為圖像情感分類的結果。

優選的，所述步驟S1中數據集選取公開情感圖像數據集TwitterⅠ、TwitterⅡ和EmotionROI，對每張圖像分別取其四角和中心5個位置裁剪并進行水平翻轉得到10張圖224×224的圖像。