[發明專利]基于內容顏色交叉相關的圖像情感分類方法

有效

• 申請號: 202010472717.1
• 申請日: 2020-05-29
• 公開（公告）號: CN111612090B
• 公開（公告）日: 2022-09-06
• 發明（設計）人: 陳恩紅;徐童;阮書嵐;張琨
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/764;G06V10/82;G06V10/56;G06N3/04
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;韓珂

本發明公開了一種基于內容顏色交叉相關的圖像情感分類方法，包括：利用預訓練過的卷積神經網絡和顏色直方圖，分別提取待分類圖像的內容特征和顏色特征；對提取的內容特征和顏色特征進行交叉相關，從而獲得增強的內容特征和顏色特征；將增強的內容特征在所有情感類別上的概率分布與增強的顏色特征在所有情感類別上的概率分布通過加權和的方式進行信息再融合，獲得情感分類結果。該方法可以更好的進行情感分類，在觀點挖掘，推薦系統，人機交互等領域和場景下有很多實際應用。

技術領域

本發明涉及深度學習，計算機視覺以及情感分類領域，尤其涉及一種基于內容顏色交叉相關的圖像情感分類方法。

背景技術

圖像情感識別是計算機視覺領域一個特別重要的組成部分和研究領域。它的任務是對給定的圖片進行情感分析，這在很多領域有著廣泛的應用場景，比如觀點挖掘，在線教育，推薦系統，在線社交等。

目前，關于圖像情感分類的方法主要有以下方法：

1)基于手工特征的傳統方法。

基于手工特征的傳統方法主要通過人工設計一些與情感可能相關的特征，并在圖片中提取這些特征，進而進行情感分類。常用的一些特征包括顏色特征，形狀特征，紋理特征等。

2)基于深度學習的方法。

不同于基于手工特征的方法，近年來基于深度學習的方法一般通過使用在大規模圖像分類數據集上(比如ImageNet)預訓練好的卷積神經網絡(CNN)來提取圖像的特征，比如VGG，ResNet等網絡。然后利用提取的特征進行圖像情感

分類。

在實際場景應用中以及數據集中可以發現，顏色和內容似乎都對圖像情感分類有著非常重要的影響。目前基于手工特征的淺度學習方法逐漸被深度學習方法(例如CNN)所替代，因為CNN網絡被證實可以更有效地提取圖像相關特征。然而，已有的方法大多都是直接使用在大規模圖像分類數據集上預訓練好的CNN來提取特征。由于預訓練數據集的原因，這樣的網絡往往擅長對圖像的內容特征進行提取，而忽略了顏色對圖像情感分類的重要性，更沒有考慮到內容和顏色之間的互影響性。

發明內容

本發明的目的是提供一種基于內容顏色交叉相關的圖像情感分類方法，可以更好的進行情感分類，在觀點挖掘，推薦系統，人機交互等領域和場景下有很多實際應用。

本發明的目的是通過以下技術方案實現的：

一種基于內容顏色交叉相關的圖像情感分類方法，包括：

利用預訓練過的卷積神經網絡和顏色直方圖，分別提取待分類圖像的內容特征和顏色特征；

對提取的內容特征和顏色特征進行交叉相關，從而獲得增強的內容特征和顏色特征；

將增強的內容特征在所有情感類別上的概率分布與增強的顏色特征在所有情感類別上的概率分布通過加權和的方式進行信息再融合，獲得情感分類結果。

由上述本發明提供的技術方案可以看出，通過卷積神經網絡和顏色直方圖，可以分別簡單地提取出圖像的內容特征與顏色特征。另外，通過交叉相關的方法，可以對內容特征與顏色特征進行優化再建模，相互進行信息增強，進而獲得比較好的內容特征表征與顏色特征表征。最后通過加權和的方式將內容特征和顏色特征進行融合可以幫助模型更好地進行圖像情感分類，并且可以增強圖像分類的準確率與魯棒性。

附圖說明

為了更清楚地說明本發明實施例的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域的普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他附圖。

圖1為本發明實施例提供的一種基于內容顏色交叉相關的圖像情感分類方法的流程圖。

具體實施方式