[發明專利]基于深度多任務學習的圖像美感和情感聯合分類方法及系統

在審

• 申請號: 201910272826.6
• 申請日: 2019-04-04
• 公開（公告）號: CN109978074A
• 公開（公告）日: 2019-07-05
• 發明（設計）人: 崔超然;余俊;楊文雅
• 申請（專利權）人: 山東財經大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 張慶騫

本公開提供了一種基于深度多任務學習的圖像美感和情感聯合分類方法及系統。其中，該聯合分類方法包括：標注圖像對應的美感類別和情感類別，形成訓練數據集；構造包含跨分支連接層和兩個并行網絡分支的深度卷積神經網絡；利用訓練數據集來訓練深度卷積神經網絡，直至預定義損失函數達到最小；利用訓練得到的深度卷積神經網絡輸出給定圖像屬于各美感類別和各情感類別的概率，選取美感類別和情感類別中概率最大的類別分別作為給定圖像的預測美感類別和情感類別。

技術領域

本公開屬于計算機視覺技術領域，尤其涉及一種基于深度多任務學習的圖像美感和情感聯合分類方法及系統。

背景技術

本部分的陳述僅僅是提供了與本公開相關的背景技術信息，不必然構成在先技術。

伴隨計算機視覺技術的快速發展，人們不僅希望計算機能夠在語義層面對圖像的內容進行分析，更期望計算機能夠模擬人類視覺及思維系統，產生更高層次的感知能力。作為感知理解研究中的兩項代表性任務，圖像的美感分類和情感分類分別旨在使計算機可以辨認人類由受到圖像視覺刺激而產生的審美和情感反應。目前，圖像的美感分類和情感分類技術已經被應用在圖像的存儲、編輯、檢索等方面。例如，針對用戶拍攝的關于同一物體或場景的多張候選照片，篩選最具美感的作品保存和展示，合理地降低數據的存儲開銷；在圖像作品的創作和編輯中，分析對比候選方案的美學質量，提升作品的視覺美感；在圖像檢索系統中，考慮返回圖像的情感傾向，為用戶提供語義準確且更有感染力的檢索結果。

由于圖像內容的多樣性和人類感知的復雜性，自動實現對圖像的美感分類和情感分類是非常具有挑戰性的任務。近年來，得益于帶有美感標記和情感標記的大規模圖像數據集的出現，基于機器學習的方法被廣泛采用。方法的核心步驟是提取在分類任務上具有良好區分能力的圖像視覺特征。早期的方法主要依賴人工設計的特征，需要研究者對問題本身有深入的了解。隨著深度學習在計算機視覺領域的興起，近期的方法主要利用卷積神經網絡自動地抽取特征用于圖像美感和情感分類，并獲得了較好的效果。

發明人發現，現有技術通常將圖像的美感分類和情感分類當作兩個相互獨立的任務。但直覺上，人類的美感感受和情感感受并不是孤立出現的；相反，在心理認知層面上，它們應是相互關聯和相互影響的。例如，如果一幅圖像能夠使人們獲得審美上的愉悅，那它也很有可能會喚起觀察者的積極情感。神經科學領域的研究也證明，人類的審美體驗是一種伴隨著情感狀態不斷升級的認知過程，反之亦然。

發明內容

為了解決上述問題，本公開的第一個方面提供一種基于深度多任務學習的圖像美感和情感聯合分類方法，其通過統一的深度卷積神經網絡框架，使兩個任務之間可以有效地共享信息，實現對圖像的美感類別和情感類別聯合識別以及識別準確性和效率。

為了實現上述目的，本公開采用如下技術方案：

一種基于深度多任務學習的圖像美感和情感聯合分類方法，包括：

標注圖像對應的美感類別和情感類別，形成訓練數據集；

構造包含跨分支連接層和兩個并行網絡分支的深度卷積神經網絡；

其中，兩個網絡分支分別負責對輸入圖像進行美感分類和情感分類；跨分支連接層用于連接兩個網絡分支中對應的卷積層組，以關聯美感分類和情感分類這兩個任務；深度卷積神經網絡的輸出代表輸入圖像屬于各美感類別和各情感類別的概率；

利用訓練數據集來訓練深度卷積神經網絡，直至預定義損失函數達到最小；

利用訓練得到的深度卷積神經網絡輸出給定圖像屬于各美感類別和各情感類別的概率，選取美感類別和情感類別中概率最大的類別分別作為給定圖像的預測美感類別和情感類別。