[發明專利]一種基于并行卷積神經網絡的圖像質量測試方法

在審

• 申請號: 201610860979.9
• 申請日: 2016-09-28
• 公開（公告）號: CN106651830A
• 公開（公告）日: 2017-05-10
• 發明（設計）人: 王偉凝;趙明權;黃杰雄;蔡加成
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司44245
• 代理人: 陳文姬

技術領域

本發明涉及圖像信號處理領域，特別涉及一種基于并行卷積神經網絡的圖像質量測試方法。

背景技術

人類的美感感受和判斷雖然受到文化背景、個人經歷、時代背景等的影響，但是總體上具有很大的共性。無數繪畫、攝影和藝術作品作為人類共同的審美財富普遍受到人們的欣賞和喜愛。美學質量評估就是希望通過計算機，模擬人類高層感知來判斷圖像的美感，實現對圖像進行高質量或低質量分類，或者對圖像的質量程度給出評分。

傳統的圖像質量評估方法大多采用手選識別特征的方式，圖像特征的有效提取對分類結果具有至關重要的作用。例如嘗試借鑒攝影，藝術，繪畫等領域的規則、人類審美經驗、視覺注意機制，從圖像中提取各種各樣的圖像特征，例如邊緣特征，顏色直方圖特征，三分法則特征等等。還有一些使用局部特征的方法，例如SIFT(Scale-invariant feature transform)算法，詞袋(Bag Of Words，Bow)算法，FisherVector(FV)算法，或者它們的改進算法等。這些方法都取得了較好的應用價值。

深度學習在解決傳統計算機視覺問題上有突破性進展，尤其是卷積神經網絡(Convolutional Neural Network，CNN)的應用。通過直接利用大量的數據訓練多層CNN，不需要先驗知識和經驗，人們發現網絡對于學習到的特征具有較好的魯棒性，不僅省去了復雜繁瑣的手動特征提取過程，更能從樣本中發現更為重要并難以理解的高層特征。利用深度學習進行圖像質量評價研究中，賓夕法尼亞州立大學的學者Wang等人設計了一個雙通道的卷積神經網絡用于圖像質量分類人物。中國科學技術大學的田教授等人利用深度學習網絡來提取圖像特征，然后使用支持向量機(Support Vector Machine，SVM)進行圖像質量分類。這些是深度學習方法在圖像質量評估方面的初步嘗試，取得了一定的效果。

然而不同場景類別的圖像差異大，這導致不同圖像特征對于不同場景類別圖像的適應性較差。另外，圖像的一些復雜的構圖規則和質量評估規律在工程上難以被建模和量化，這成為圖像特征提取上的瓶頸。

因此需要一種新的測試模型來克服現有技術中存在的問題。

發明內容

為了克服現有技術的上述缺點與不足，本發明的目的在于提供一種基于并行卷積神經網絡的圖像質量測試方法，克服了傳統方法需要手工設計多種圖像特征的缺點，深入分析和挖掘圖像質量特征，泛化能力強，分類準確率高。

本發明的目的通過以下技術方案實現：

一種基于并行卷積神經網絡的圖像質量測試方法，包括以下步驟：

(1)采用并行卷積神經網絡建立圖像質量測試模型；所述圖像質量測試模型包括第一卷積層、第二卷積層、第三卷積層、第四卷積層、第五卷積層、第一全連接層、第二全連接層和第三全連接層；

所述第五卷積層為包含n個分支的并行結構網絡；1≤n≤10；

(2)輸入數據預處理與數據庫平衡化處理：對預訓練數據集的每個樣本進行裁剪和歸一化，并對預訓練數據集的樣本數量進行平衡化處理；

(3)模型的預訓練：采用預訓練數據集，對圖像質量測試模型進行預訓練學習，得到網絡權值；

所述預訓練學習，具體為：

用預訓練數據集中每一種類別圖像各自訓練一個深度CNN網絡，并且進行權值學習和提取；

所述權值學習和提取，具體包括以下步驟：

(3-1)深度CNN網絡權值初始化；

(3-2)對深度CNN網絡進行迭代訓練；

(3-3)提取每一個深度CNN網絡第五卷積層學習得到的卷積核權值；

(4)并行模型訓練：初始化圖像質量測試模型，基于預訓練初始化后的圖像質量測試模型，進行并行模型訓練，得到已訓練的圖像質量評估模型；

(5)對目標圖像使用已訓練的質量評估模型進行測試。

步驟(2)所述輸入數據預處理，具體為：將所有的樣本的長寬統一歸一化為256*256，在模型輸入接口的匹配中，每一次讀取輸入圖像數據時，被隨機裁剪到規格為227*227的大小。

步驟(2)所述數據庫平衡化處理，具體為：對預訓練數據集中的每個樣本進行旋轉處理，并左右鏡像一次，產生新的樣本。

步驟(3)所述預訓練學習中，第一～第四卷積層初始設為AlexNet模型前四層網絡權值，采用隨即梯度下降方式進行訓練，學習率設置為初始值0.0001，第五卷積層提取層和全連接層則設置初始學習率為0.001。