[發明專利]一種抽象圖像情感識別方法

有效

• 申請號: 201810743180.0
• 申請日: 2018-07-09
• 公開（公告）號: CN109086868B
• 公開（公告）日: 2022-07-26
• 發明（設計）人: 陳蕾;楊子文
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62;G06V10/776;G06V10/778;G06V10/82
• 代理公司: 南京蘇科專利代理有限責任公司 32102
• 代理人: 姚姣陽

本發明公開一種抽象圖像情感識別方法，包括以下步驟：使用自然圖像數據集對卷積神經網絡進行預訓練；對自然圖像情感識別數據集和抽象圖像情感識別數據集進行風格特征提取，計算抽象圖像情感識別數據集中每個樣本與自然圖像情感識別數據集中各個樣本的風格差異；選擇與所述抽象圖像情感識別數據集的風格特征最相似的自然圖像情感識別數據集子集，使用所述自然圖像情感識別數據集子集與所述抽象圖像情感識別數據集進行兩層遷移聯合精調，得到抽象圖像情感識別模型。相較于現有技術，本發明提高了識別準確率。

技術領域

本發明涉及人工智能領域，具體涉及抽象圖像情感識別方法。

背景技術

通過計算機自動識別繪畫的情感語義具有重要的意義：一方面，博物館不僅能夠有效地管理海量的數據，也能減少領域專家的介入，從而節省人力物力；另一方面，用戶能夠快速地檢索相關繪畫作品，并將相同情感的作品聯系起來，方便解讀繪畫的含義。與傳統繪畫不同的是，抽象藝術家直接用顏色，形狀和紋理等視覺元素以“非具象”的方式表達情感：“藝術家試圖在作品中僅表達內在真理，因此放棄對外部形式的所有考慮”。而如何彌合底層視覺元素與高層情感語義之間的鴻溝，成為抽象圖像情感識別的一個研究難題。

傳統的抽象圖像情感識別方法大多將藝術理論和計算機視覺技術結合起來，使用人工設計的特征配合統計機器學習方法來識別抽象圖像喚起的情感反應。但是與自然圖像不同的是，由于抽象圖像數據集的標注需要聘請高水平專家，以及設計專業的標注工具，從而導致了數據集中可用于訓練的樣本數量不足以充分訓練深層的深度學習模型。且小樣本數據集會導致深度學習模型出現嚴重的過擬合問題。

解決小樣本數據集下深度學習對學習任務的過擬合問題是計算機視覺領域的一個研究熱點。將從一項任務學到的知識應用于其他相關任務的遷移學習技術已被證明是有效的。在深度學習中，精調(Finetune)預先在ImageNet或Places等大規模自然圖像數據集上訓練的深度網絡是學習特定的深度特征和緩解數據集小樣本問題的常用策略，通常被認為是遷移學習技術在深度學習中的簡單應用。然而，大規模自然圖像數據集與抽象圖像情感識別數據集的樣本分布存在顯著的不同，使用抽象圖像情感識別數據集簡單地精調預先在大規模自然圖像數據集上訓練的深度網絡會導致負遷移問題，影響識別準確率。

鑒于此，確有必要對現有的抽象圖像情感識別方法進行改進，以解決上述問題。

發明內容

本發明的主要目的在于提供一種抽象圖像情感識別方法，以提高抽象圖像情感識別的準確率。

為了實現上述目的，本發明提供一種抽象圖像情感識別方法，包括以下步驟：

S1：使用自然圖像數據集對卷積神經網絡進行預訓練；

S2：使用預訓練后的卷積神經網絡對自然圖像情感識別數據集和抽象圖像情感識別數據集進行風格特征提取，并計算所述抽象圖像情感識別數據集中每個樣本與所述自然圖像情感識別數據集中各個樣本的風格差異；

S3：根據所述抽象圖像情感識別數據集中的風格特征，按風格差異遞增的順序動態地選擇與所述抽象圖像情感識別數據集的風格特征最相似的自然圖像情感識別數據集子集，使用所述自然圖像情感識別數據集子集與所述抽象圖像情感識別數據集進行兩層遷移聯合精調，得到抽象圖像情感識別模型。

進一步的，步驟S1具體包括如下步驟：

S11：構建卷積神經網絡，并隨機初始化網絡參數，所述卷積神經網絡包括若干層卷積模塊和全連接層，每一層所述卷積模塊由一層卷積層構成或者由一層卷積層和一層池化層組成。

S12：輸入自然圖像數據集至所述卷積神經網絡進行前向傳播，使用交叉熵損失函數計算預測標簽與真實標簽的概率分布的差異；

S13：使用Adam優化方法優化交叉熵損失函數，更新網絡參數。

進一步的，所述卷積模塊的層數為5層，所述全連接層的層數為3層。