[發明專利]一種基于多領域知識驅動的圖像美學質量評價方法

有效

• 申請號: 202010861877.5
• 申請日: 2020-08-25
• 公開（公告）號: CN111950655B
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 牛玉貞;陳志賢;劉文犀
• 申請（專利權）人: 福州大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/80;G06V30/19;G06N3/04
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 錢莉;蔡學俊

本發明涉及一種基于多領域知識驅動的圖像美學質量評價方法，步驟S1：設計一個密集連接網絡作為主干網絡，提取圖像的美學特征；S2：設計一個半監督學習算法，同時從有標簽和無標簽圖像學習風格特征，提取圖像的風格特征；S3：使用場景語義分類數據集和情感分類數據集訓練場景語義分類模型和情感分類模型，提取圖像的語義特征和情感特征；S4：使用梯度提升算法XGBoost，對提取到的特征進行特征篩選與融合，分別訓練SVM分類模型和SVR回歸模型來預測圖像的美學質量。本發明能顯著提高美學質量預測精度。

技術領域

本發明涉及圖像處理以及計算機視覺領域，特別是一種基于多領域知識驅動的圖像美學質量評價方法。

背景技術

由于視覺美學是一個主觀的屬性，往往會涉及情感和個人品味，受到攝影規則、圖像內容和圖像風格等影響，這使得自動評估圖像美學質量是一項非常主觀的任務。在美學質量評價引入深度學習模型后，可以學習到更有效的美學特征，為了能進一步提高性能，學者們開始借助各種與美學息息相關的領域的專業知識來輔助評價美感，Mai等引入了語義分類信息作為網絡分支輔佐美學評價，總結出7種對圖像美感影響最大的場景；Lu等人認識到圖像中的不同的主體類別對人們吸引力不同，進而顯著影響到圖像的吸引力；Kucer等人考慮到圖像傳遞出的喜怒哀樂等情感因素也會影響到圖像美感。但是，絕大多數工作都忽略了圖像風格對圖像美學的影響。實際上不論是照片或者是藝術品，HSV(human visualsystem，人眼視覺系統)可以通過圖像內容與風格之間復雜的相互作用，創造出獨特的視覺體驗。對于相同的圖像內容，不同的圖像風格會造成截然不同的視覺美感體驗和判斷。由于訓練深度網絡需要大的數據集，僅僅提取美學數據集里有提供風格標簽的圖像的風格特征是不夠的，因此需要設計算法來克服美學評估的需要和圖像風格標簽不足之間的矛盾。為了獲得更多美學相關知識領域的特征，接著抽取此前工作已經證明有效的語義特征和情感特征。對于多領域特征的融合，傳統的方法是使用點積、合并、自定義全連接層等方式，但是，由于獲取到的多領域特征對美感的貢獻不是均等的，根據特征重要性對特征進行進一步處理是需要考慮的。

發明內容

有鑒于此，本發明的目的是提供一種基于多領域知識驅動的圖像美學質量評價方法，能顯著提高美學質量預測精度。

本發明采用以下方案實現：一種基于多領域知識驅動的圖像美學質量評價方法，包括以下步驟：

步驟S1：設計一個密集連接網絡作為主干網絡，提取圖像的美學特征；所述密集連接網絡包括單卷積層、密集連接模塊和分類模塊；

步驟S2：設計一個半監督學習算法，同時從有標簽和無標簽圖像學習風格特征，提取圖像的風格特征；

步驟S3：使用場景語義分類數據集和情感分類數據集訓練場景語義分類模型和情感分類模型，提取圖像的語義特征和情感特征；

步驟S4：使用梯度提升算法XGBoost，對提取到的特征進行特征篩選與融合，分別訓練SVM分類模型和SVR回歸模型來預測圖像的美學質量。

進一步地，所述步驟S1具體包括以下步驟：

步驟S11：對圖像進行預處理，先縮放到256*256，然后隨機裁剪成224*224；設計一個單卷積層，單卷積層由7×7卷積、BN批歸一化、Relu修正線性單元和3×3最大池化層組成；將裁減后的圖像輸入到單卷積層，將單卷積層的輸出作為密集連接模塊的輸入；

步驟S12：設計一個分類模塊作用于密集連接模塊產生的特征；分類模塊的輸入是密集連接模塊的輸出，經過一個7*7平均池化層進行特征壓縮，得到2208維的特征向量；將池化后的輸出通過一個線性變換層和softmax層輸出分類結果，其中，分類數與美學質量評價數據集AVA給定的美學評分取值的個數一致，分類結果表示的是密集連接網絡預測的評分分布，該預測評分分布為向量，向量中第i個數值代表美學評分第i個取值對應的概率；