[發明專利]基于內容顏色交叉相關的圖像情感分類方法

有效

• 申請號: 202010472717.1
• 申請日: 2020-05-29
• 公開（公告）號: CN111612090B
• 公開（公告）日: 2022-09-06
• 發明（設計）人: 陳恩紅;徐童;阮書嵐;張琨
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/764;G06V10/82;G06V10/56;G06N3/04
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;韓珂

1.一種基于內容顏色交叉相關的圖像情感分類方法，其特征在于，包括：

利用預訓練過的卷積神經網絡和顏色直方圖，分別提取待分類圖像的內容特征和顏色特征；

對提取的內容特征和顏色特征進行交叉相關，從而獲得增強的內容特征和顏色特征；

將增強的內容特征在所有情感類別上的概率分布與增強的顏色特征在所有情感類別上的概率分布通過加權和的方式進行信息再融合，獲得情感分類結果；

所述利用預訓練過的卷積神經網絡和顏色直方圖，分別提取待分類圖像的內容特征和顏色特征包括：

使用訓練過的卷積神經網絡提取待分類圖像I的內容特征s，形式化為：

s＝ResNet(I)

其中，ResNet為訓練過的卷積神經網絡；

使用顏色直方圖提取待分類圖像I的顏色特征h，形式化為：

h＝ColorHistogram(I)

其中，ColorHistogram表示顏色直方圖；包括R，G，B三個顏色通道，分別代表圖像中對應顏色通道的所有像素的亮度值的歸一化的加權和；

再將顏色特征h轉化為顏色特征矩陣H：

其中，代表顏色嵌入矩陣，d是每種顏色通道對應的維度，表示元素級相乘；

所述對提取的內容特征和顏色特征進行交叉相關，包括：通過序列卷積，使用顏色特征對內容特征進行信息增強，以及通過注意力機制，使用內容特征對顏色特征進行信息增強；

獲得增強的內容特征的方式包括：

通過序列卷積，使用顏色特征對內容特征進行信息增強，表示為：

其中，H為顏色特征h轉化得到的顏色特征矩陣，通過平均池化avg獲得的結果記為s為內容特征，N為向量的長度，為通過序列卷積操作后得到的內容特征，也即增強的內容特征，為中的第i個元素，s_i+j為s中的第i+j個元素，為中的第j個元素；

獲得增強的顏色特征的方式包括：

通過注意力機制，使用內容特征對顏色特征進行信息增強，表示為：

f(s，H_n)＝tanh(W_hH_n+W_ss)

其中，H為顏色特征h轉化得到的顏色特征矩陣，H_n、H_m為H中的第n、第m個元素；α_n為通過注意力機制計算后的第n個向量的注意力權重，W_h和W_s為可訓練的權重參數，s為內容特征，f(s，H_n)表示計算H中每個元素對s的重要性。

2.根據權利要求1所述的一種基于內容顏色交叉相關的圖像情感分類方法，其特征在于，所述圖像情感分類是指對于待分類圖像I，預測對應的情感類別標簽y＝[0，0，...，1，...，0]；標簽y為向量，其長度為q，第k位為1，其它位都為0，表示待分類圖像I的情感類別為k。

3.根據權利要求1所述的一種基于內容顏色交叉相關的圖像情感分類方法，其特征在于，所述將增強的內容特征在所有情感類別上的概率分布與增強的顏色特征在所有情感類別上的概率分布通過加權和的方式進行信息再融合，包括：

對于增強的內容特征與增強的顏色特征分別利用兩個不同的多層感知器MLP，計算在所有情感類別上的概率分布：

將計算得到的概率分布進行融合：

p^c＝λ*p^s+(1-λ)*p^h

其中，λ∈[0，1]為超參數。

4.根據權利要求3所述的一種基于內容顏色交叉相關的圖像情感分類方法，其特征在于，每個多層感知機包括：兩個帶有Relu激活函數的隱層，和一個softmax輸出層。