[發明專利]一種基于深度漂移-擴散方法的美學圖像質量預測系統及方法

在審

• 申請號: 201811453642.1
• 申請日: 2018-11-30
• 公開（公告）號: CN109583500A
• 公開（公告）日: 2019-04-05
• 發明（設計）人: 金鑫;吳樂;周興暉;趙耿;張曉昆;李曉東
• 申請（專利權）人: 中共中央辦公廳電子科技學院
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗

1.一種基于深度漂移-擴散方法的美學圖像質量預測系統，其特征在于，包括：數據采集模塊、預處理模塊和神經網絡模塊；

數據采集模塊：確定已知的AVA圖像美學分類數據集中所需訓練圖像集樣本、驗證圖像集樣本和測試圖像集樣本；

預處理模塊：對已知的AVA圖像美學分類數據集進行預處理，以符合深度漂移-擴散模型的特性，將處理后的數據送到神經網絡模塊中；

神經網絡模塊：構建神經網絡，將所述驗證圖像集樣本，輸入神經網絡中，利用深度神經網絡方法，確定所述驗證圖像集樣本的美學得分分布、分類類別值和美學評分；

美學分數分布預測模塊：將所述測試圖像集樣本輸入神經網絡，得到所述測試圖像集樣本內的美學圖像得分分布、分類類別值、美學評分等美學圖像質量值為最終的預測結果。

2.根據權利要求1所述的美學圖像質量預測系統，其特征在于：數據采集模塊中，所述確定已知訓練圖像集樣本、驗證圖像集樣本和測試圖像集樣本、圖像分類模型，具體包括：將名為AVA的美學圖像數據集隨機分為訓練圖像集樣本，共234599張圖像，剩下的圖像作為測試圖像集樣本，共19930張圖像，驗證圖像集樣本為非AVA美學圖像數據集的其他圖像，因使用的AVA數據集為已知、固定數據集，因此所使用的圖片數量為固定數值。

3.根據權利要求1所述的美學圖像質量預測系統，其特征在于：使用已知AVA圖像美學分類數據集執行圖像美學分類任務，其分類任務為基于ImageNet圖像數據集分類任務的GoogLeNet圖像分類模型和ResNet圖像分類模型。

4.根據權利要求1所述的美學圖像質量預測系統，其特征在于：所述預處理模塊中，基于深度漂移-擴散模型的公式為：

其中，v表示美學圖像分數分布，MiddleScore表示已知分布的中位數分數，m和n分別代表對已知圖像分類模型進行調整時附加多任務回歸模塊中正吸引子和負吸引子的個數,i表示分數分布范圍中的分數，E_pos和E_neg分別表示正吸引子和負吸引子，W為經過修改的白噪聲。

5.根據權利要求4所述的美學圖像質量預測系統，其特征在于：所述正吸引子和負吸引子由AVA數據集對美學圖像質量的標注間接確定，具體公式如下：

E＝0.5*e^{-0.5*U(0，10)} (2)

W＝λ*U(-1，1) (3)

λ＝sigmoid(θ^Tf) (4)

其中，U(0，10)為AVA數據集中已知的10點值表，U(-1，1)為10點值表映射在(-1，1)上的分布，λ為中間參數，θ和f用于表示動態美學圖像分數分布預測的圖像評價及其動態函數，θ^T表示對以矩陣形式表示的圖像評價進行轉置表達。

6.根據權利要求1所述的美學圖像質量預測系統，其特征在于：將所述驗證圖像集樣本輸入神經網絡，確定所述驗證圖像內的各美學圖像質量值，具體包括：

所述神經網絡包括：以已知GoogLeNet圖像分類模型進行調整，所述美學圖像分數分布預測模型包括九層有參數的卷積神經網絡層和兩層沒有參數的網絡層；以已知ResNet圖像分類模型進行調整，所述美學圖像分數分布預測模型包括九層有參數的卷積神經網絡層和兩層沒有參數的網絡層；

所述美學圖像分數分布預測模型包括：五十層有參數的卷積神經網絡層和兩層沒有參數的網絡層；其中，五十層有參數的卷積神經網絡層為特征提取層，倒數第二層為長度為1024的全連接層，倒數第一層包含兩個長度分別為256的全連接層，分別與倒數第二層連接；倒數第二層輸出公式(4)中的θ^Tf，最后一層將分別輸出公式(1)中的m和n。再代入公式(1)，求得美學圖像分數分布。