[發明專利]一種基于多領域知識驅動的圖像美學質量評價方法

有效

• 申請號: 202010861877.5
• 申請日: 2020-08-25
• 公開（公告）號: CN111950655B
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 牛玉貞;陳志賢;劉文犀
• 申請（專利權）人: 福州大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/80;G06V30/19;G06N3/04
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 錢莉;蔡學俊

1.一種基于多領域知識驅動的圖像美學質量評價方法，其特征在于：包括以下步驟：

步驟S1：設計一個密集連接網絡作為主干網絡，提取圖像的美學特征；所述密集連接網絡包括單卷積層、密集連接模塊和分類模塊；

步驟S2：設計一個半監督學習算法，同時從有標簽和無標簽圖像學習風格特征，提取圖像的風格特征；

步驟S3：使用場景語義分類數據集和情感分類數據集訓練場景語義分類模型和情感分類模型，提取圖像的語義特征和情感特征；

步驟S4：使用梯度提升算法XGBoost，對提取到的特征進行特征篩選與融合，分別訓練SVM分類模型和SVR回歸模型來預測圖像的美學質量；

所述步驟S1具體包括以下步驟：

步驟S11：對圖像進行預處理，先縮放到256*256，然后隨機裁剪成224*224；設計一個單卷積層，單卷積層由7×7卷積、BN批歸一化、Relu修正線性單元和3×3最大池化層組成；將裁減后的圖像輸入到單卷積層，將單卷積層的輸出作為密集連接模塊的輸入；

步驟S12：設計一個分類模塊作用于密集連接模塊產生的特征；分類模塊的輸入是密集連接模塊的輸出，經過一個7*7平均池化層進行特征壓縮，得到2208維的特征向量；將池化后的輸出通過一個線性變換層和softmax層輸出分類結果，其中，分類數與美學質量評價數據集AVA給定的美學評分取值的個數一致，分類結果表示的是密集連接網絡預測的評分分布，該預測評分分布為向量，向量中第i個數值代表美學評分第i個取值對應的概率；

步驟S13：設計一個美學評分分布損失，在美學質量評價數據集AVA上學習密集連接網絡的最優參數；訓練使用的優化算法是SGD，動量momentum設置為0.9，每次迭代的批量設置為32，初始學習率設置為0.01，每15輪降低到原來的10％；美學評分分布損失使用基于累計分布函數的損失函數L_Js，公式如下：

其中，M_p(i)和M_L(i)分別是密集連接網絡預測的評分分布和標簽的真實分布中美學評分第i個取值對應的概率，i對應美學評分取值1，2，…10，Z是評分取值的個數，即10；

使用上述主干網絡和美學評分分布損失訓練完成后，提取分類模塊中的平均池化層得到的2208維特征作為圖像的美學特征；

所述步驟S2具體包括以下步驟：

步驟S21：將風格學習任務建立為1個K路分類問題；首先，初始化1個基本網絡F_base，該網絡采用主干網絡，將步驟S12中的分類數設為K，并且復制一個具有相同結構和參數的目標網絡F_target，訓練時向基本網絡和目標網絡輸入有標簽的圖像和無標簽的圖像；在每步訓練中，讓基本網絡和目標網絡共同評估1個批量樣本；基本網絡使用交叉熵分類損失L_class和一致性損失L_cons來優化，學習基本網絡的最優參數；交叉熵分類損失L_class用于計算基本網絡中的有標簽圖像的損失，一致性損失L_cons衡量基本網絡和目標網絡對所有圖像的預測結果的差異；網絡對圖像H的損失計算公式如下：

Loss＝C_H*L_class(F_base(H；θ_b)，y_H)+β*L_cons(F_base(H；θ_b)，F_target(H；θ_t))

其中，H是訓練批量樣本中的圖像，能夠選擇是有標簽的或者無標簽的；θ_b和θ_t分別是基本網絡F_base和目標網絡F_target的參數，β是權重，實際設為10；F_base(H；θ_b)是基本網絡的輸出，y_H是風格標簽,F_target(H；θ_t)是目標網絡的輸出；C_H用于判定圖像H是否有風格標簽，如果圖像H有風格標簽，C_H為1，否則為C_H為0，即只有帶有風格標簽y_H的圖像H才會計算交叉熵分類損失L_class；L_class(F_base(H；θ_b),y_H)是基本網絡的輸出F_base(H；θ_b)和風格標簽y_H之間的交叉熵分類損失；對于圖像H，交叉熵分類 損失L_class的公式如下：

L_class＝∑y_Hlog(F_base(H；θ_b))

L_cons(F_base(H；θ_b)，F_target(H；θ_t))是基本網絡輸出F_base(H；θ_b)和目標網絡輸出F_target(H；θ_t)之間的一致性損失，用均方誤差計算；對于圖像H，均方誤差損失的公式如下：

L_cons＝(F_base(H；θ_b)-F_target(H；θ_t))²

使用美學質量評價數據集AVA進行訓練，基本網絡F_base使用SGD算法優化參數；基本網絡F_base的參數作為目標網絡F_target的預訓練參數，目標網絡F_target的參數θ_t按照平均移動策略更新，更新公式如下：

是基本網絡F_base第k步訓練更新后的參數，是目標網絡F_target當前的參數，α用于改變權重，α依據公式如下：

其中，ema_decay＝0.999，global_step指的是全局迭代次數，α變化趨勢為從0到0.999；

步驟S22:目標網絡F_target訓練完成后，使用目標網絡F_target中的分類模塊中的平均池化層得到2208維特征，提取該特征作為圖像的風格特征。