[發明專利]一種基于卷積神經網絡的無參考圖像質量評價方法

在審

• 申請號: 202011625910.0
• 申請日: 2020-12-31
• 公開（公告）號: CN112767311A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 顏成鋼;陳子陽;張繼勇;孫垚棋;張勇東
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種基于卷積神經網絡的無參考圖像質量評價方法，其特征在于，步驟如下：

步驟1：對失真圖和自然圖進行預處理，得到相似圖；

步驟2：根據已有失真圖：X和相似圖：Z，即SSIM_MAP；構建神經網絡；

基于GAN框架的對抗生成理念，在生成網絡部分，融入U-net框架的跳躍連接特點和densenet的框架的denseblock結構特性，提高了原框架對于圖像特征的提取性能；在判別網絡部分，采用簡單的分類網絡；

步驟3：訓練構建的神經網絡。

2.根據權利要求1所述的一種基于卷積神經網絡的無參考圖像質量評價方法，其特征在于，步驟1具體操作如下：

1-1.計算亮度對比：

對于失真圖：X，自然圖：Y，采用表示失真圖X的亮度信息，表示自然圖Y的亮度信息：

其中，x_i,y_i為圖像的像素點值；

則失真圖X和自然圖Y的亮度對比就可以表示為：

其中C₁是為了防止分母為0而設置的極小數；

1-2.計算對比度對比：C(x,y)

采用σ_x表示失真圖X的對比度信息，σ_y表示自然圖Y的對比度信息：

則失真圖X和自然圖Y的對比度對比表示為：

其中C₂是為了防止分母為0而設置的極小數；

1-3.計算結構性對比：S(x,y)

引入相關性：σ_xy

則失真圖X和自然圖Y的結構性對比就可以表示為：

其中C₃是為了防止分母為0而設置的極小數；

1-4.通過獲得的亮度對比、對比度對比和結構性對比計算相似圖；

其中a、b、c為亮度、對比度和結構性的權重；

失真圖X的質量分數MSSIM可以由SSIM_MAP求得：

MSSIM＝mean(SSIM_MAP)

其中mean()為取平均值操作。

3.根據權利要求2所述的一種基于卷積神經網絡的無參考圖像質量評價方法，其特征在于，步驟2具體操作如下：

2-1.生成網絡：

(1)使用失真圖X作為輸入，失真圖X的大小為256×256，通道數為3；

(2)通過denseblock結構加卷積層的方式，對失真圖X進行特征提取過程；得到一張大小為1×1，通道數為512的特征圖；

a、先通過一層卷積層從失真圖中提取出大小為128×128，通道數為64的低級特征圖；

b、再通過7個denseblock加卷積層的結構進一步提取低級特征圖的特征，其中每個denseblock結構后設置有一個卷積層用于縮小特征圖大小以達到精煉特征信息的作用；每個denseblock由4層卷積層組成，每個denseblock只用于對特征做進一步提取，不會改變特征圖的大小和通道數；特征圖的大小和通道數只會在卷積層改變；

(3).由8層反卷積層恢復出假相似圖：Z'，Z'的大小為256×256，通道數為3；

c、每個卷積層都有與之對應的反卷積層，每個卷積層與對應的反卷積層跳躍相連，將中間特征圖作為輸入信息傳送到反卷積層用于恢復目標圖片；所以一共有7個跳躍連接，7層反卷積層將輸出一張大小為128×128，通道數為128的信息圖；

d、最后通過一層卷積層把信息圖變為大小為256×256，通道數為3的目標圖片，也即是假相似圖Z'；

2-2.判別網絡

(1)拼接失真圖X和真相似圖Z為新圖片：X-Z；拼接失真圖X和假相似圖Z'為新圖片：X-Z'；X-Z和X-Z'大小均為256×256，通道數均為6；將得到的X-Z和X-Z'作為判別網絡的輸入；

(2)輸入圖像首先通過6層卷積層，256×256×6的輸入圖片變為了4×4×1的小塊圖片，圖片上的每一個像素值都代表輸入圖片中64×64大小的圖像塊；

(3)4×4×1小塊上的每個像素值都是輸出預測標簽；整體的預測標簽由16個像素值的平均值決定。

4.根據權利要求3所述的一種基于卷積神經網絡的無參考圖像質量評價方法，其特征在于，步驟3具體操作如下：

G(·)代表生成器，D(·)代表判別器；

3-1.判別器訓練過程；

在訓練判別器參數時，固定生成器參數不變，只有判別器參數參與迭代更新；定義判別器損失函數為：

因為是訓練判別器，D(x_i,z_i)輸出為‘真’，也就是越大越好；D(x_i,G(x_i))輸出為‘假’，也就是越小越好；通過最大化損失函數完成判別器的訓練；

3-2.生成器訓練過程；

在訓練生成器參數時，固定判別器參數不變，只有生成器參數參與迭代更新；定義生成器損失函數為：

其中代表傳統GAN網絡的損失函數；代表傳統L1損失函數；因為是訓練生成器，中的D(x_i,G(x_i))輸出為‘真’，也就是越大越好；同時L1損失函數越小越小，即的輸出越小越好，通過最小化損失函數完成生成器的訓練；

3-3.結果預測；

生成器和判別器通過最大化或者最小化各自的目標損失函數，迭代訓練處最優的生成器G(·)^*和判別器D(·)^*；

將失真圖片輸入在訓練好的最優的生成器G(·)^*中，就能夠得到期望的相似圖。