[發明專利]基于多分支相似度網絡的無參考圖像質量評價方法

有效

• 申請號: 201910718234.2
• 申請日: 2019-08-05
• 公開（公告）號: CN110516716B
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 路文;周自衡;何維佺;韓士帥;何立火
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 田文英;王品華

1.一種基于多分支相似度網絡的無參考圖像質量評價方法，其特征在于，利用多分支卷積模塊從輸入的失真圖像中自適應提取多分支特征，針對相似度融合模塊中3個卷積分支的輸出特征進行兩兩之間的相似度計算，并與多個分支的輸出特征矩陣并聯輸出，利用一個全連接層預測失真圖像的質量分數；該質量評價方法的具體步驟包括如下：

(1)構建多分支卷積模塊：

(1a)構建一個由Inception v4網絡的前4個單元組成的多分支卷積模塊；

(1b)將在ImageNet數據集上預訓練過的Inception v4網絡的前4個單元參數，設置為多分支卷積模塊各層初始化參數；

(2)構建相似度融合模塊：

(2a)構建含有3個卷積分支和1個池化分支的相似度融合模塊，并設置參數；

(2b)按照下式，計算3個卷積分支輸出特征兩兩之間的相似度矩陣，得到3個特征相似度矩陣：

其中，Sim_i,j表示第i個卷積分支和第j個卷積分支的特征相似度矩陣，h_i或h_j分別表示3個卷積分支中的第i個分支或第j個分支的輸出特征矩陣，表示矩陣的點乘操作；

(2c)將3個特征相似度矩陣與4個分支的輸出特征矩陣并聯，組成相似度融合模塊的輸出；

(2d)隨機初始化設置相似度融合模塊中的各層參數；

(3)構建多分支相似度網絡：

將多分支卷積模塊和相似度融合模塊連接后，再與一個全連接層相連，組成多分支相似度網絡；

(4)生成無參考的訓練集和測試集：

(4a)將自然圖像公知數據集中所有的參考圖像及其對應的失真圖像的主觀評價質量分數映射到[0,100]區間，保存失真圖像和對應的映射后主觀評價質量分數；

(4b)按照參考圖像隨機劃分所有的失真圖像，將其中80％的參考圖像對應的失真圖像組成訓練集，其余20％的參考圖像對應的失真圖像組成測試集，測試集在圖像內容上與訓練集沒有重疊，訓練集和測試集中的失真圖像都是無參考的；

(5)訓練多分支卷積特征相似度網絡：

(5a)將訓練集中的每張失真圖像隨機裁剪成384×384的圖像塊后，輸入到多分支卷積特征相似度網絡中，得到預測質量分數和兩類網絡參數W與b，其中，W表示多分支卷積特征相似度網絡中邊連接的權值向量，b表示多分支卷積特征相似度網絡中下一層對上一層的偏置，隨機初始化參數W和b；

(5b)將訓練集中的失真圖像依次輸入到多分支相似度網絡中，計算多分支卷積特征相似度網絡預測質量分數與主觀質量分數的Huber距離，作為多分支卷積特征相似度網絡的損失值，用隨機梯度下降法，更新參數W和b，使得多分支卷積特征相似度網絡損失值逐漸減小，直到滿足多分支相似度網絡的損失值L≤5或者循環迭代輪數達到t＝200時停止訓練，得到訓練好的多分支相似度網絡；

(6)輸出測試集中每張失真圖像的質量評價分數值：

將測試集中的無參考的失真圖像依次輸入到訓練好的多分支相似度網絡中，利用多分支相似度網絡輸出無參考的失真圖像對應的圖像質量評價分數值。

2.根據權利要求1所述的基于多分支相似度網絡的無參考圖像質量評價方法，其特征在于：步驟(2a)中所述的相似度融合模塊的參數設置如下：

第1個分支和第4個分支分別包含1個特征映射圖總數為96，卷積核大小為1×1，卷積運算的步長為1的卷積層；

第2個分支包含2個卷積層：1個特征映射圖總數為64，卷積核大小為1×1，卷積運算的步長為1的卷積層；1個特征映射圖總數為96，卷積核大小為3×3，卷積運算的步長為1，填充像素數為1的卷積層；

第3個分支包含3個卷積層：1個特征映射圖總數為64，卷積核大小為1×1，卷積運算的步長為1的卷積層；2個特征映射圖總數為96，卷積核大小為3×3，卷積運算的步長為1，填充像素數為1的卷積層。

3.根據權利要求1所述的基于多分支相似度網絡的無參考圖像質量評價方法，其特征在于：步驟(5b)中所述計算多分支相似度網絡預測的質量分數與主觀質量分數的Huber距離的公式如下：

其中，L表示多分支相似度網絡的損失值，S表示訓練集中的失真圖像輸入到多分支相似度網絡后輸出的預測質量分數，T表示訓練集中失真圖像的主觀評價質量分數。

4.根據權利要求1所述的基于多分支相似度網絡的無參考圖像質量評價方法，其特征在于，步驟(5b)中所述的用隨機梯度下降法，更新參數W和b的步驟如下：

第一步，按照下式，更新多分支相似度網絡中的每個參數：

θ′_k＝θ_k-α×G_k

其中，θ′_k表示多分支相似度網絡更新后的第k個參數，θ_k表示多分支相似度網絡更新前的第k個參數，α表示更新參數時的學習率，α∈[0,1]，G_k表示多分支相似度網絡損失值對網絡更新前的第k個參數的偏導數；

第二步，將訓練數據輸入到參數更新后的多分支相似度網絡中，計算參數更新后多分支相似度網絡輸出的預測質量分數與主觀質量分數的Huber距離，作為參數更新后的多分支相似度網絡的損失值；

第三步，判斷參數更新后的多分支相似度網絡滿足網絡的損失值L≤5或者循環迭代輪數達到t＝200，若是，則得到訓練好的多分支相似度網絡，否則，執行第一步。