[發明專利]基于自注意力機制GAN網絡的無參考圖像質量評價方法

有效

• 申請號: 202011247062.4
• 申請日: 2020-11-10
• 公開（公告）號: CN112419242B
• 公開（公告）日: 2023-09-15
• 發明（設計）人: 薛思雨;惠康樂;劉順;侯紅
• 申請（專利權）人: 西北大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/0464;G06N3/045;G06N3/0475;G06N3/091;G06N3/094
• 代理公司: 深圳紫晴專利代理事務所(普通合伙) 44646
• 代理人: 程玉紅

1.基于自注意力機制GAN網絡的無參考圖像質量評價方法，其特征在于：具體評價步驟如下：

S1、相關工作：

S1.1、生成式對抗網絡模型：生成式對抗網絡模型算法同時訓練生成器和鑒別器兩個模型，生成器試圖繪制更真實的圖像來欺騙鑒別器，輸入為失真圖像Gx，通過卷積和反卷積，生成一張復原圖，并將失真圖以及失真圖與復原圖的殘差圖作為輸入輸出失真圖的質量分數；

S1.2、自我注意力生成對抗性網絡：在生成式對抗網絡模型中引入了self-Attention機制，使得生成網絡協調好每一個位置的局部細節和遠端細節，判別網絡能更準確地學習到全局圖像結構的幾何約束，在生成式對抗網絡模型中引入self-Attention機制；

S2、提出的模型和學習：

S2.1、建立模型框架：框架由三個部分組成：圖像感知生成網絡GN、圖像生成判別網絡DN和質量評價網絡EN；圖像感知生成網絡產生的幻覺參考圖像作為失真圖像的補償信息；首先對不重疊的補丁(patch)進行采樣，然后對于每一個圖像感知生成網絡GN將其作為輸入，嘗試將Gx還原為對應的無畸變原始圖像，圖像生成判別網絡DN將恢復后的D(Gx)與原始圖像進行區分；

S2.2、增添自注意力模塊：圖像隱含層的特征x∈R^C*N分別映射到兩個特征空間f，g，計算注意力；其中：

f(x)＝W_fx,g(x)＝W_gx

where

s_ij＝f(x_i)^Tg(x_j)

權重β_j,i表示模型在合成j區域的時候對i區域的關注程度；其中，C是通道的數量，N是上一步隱藏層特征所處的特征位置的數量；注意層的輸出為

o＝(0₁,0₂,...,0_j,...,0_N)∈R^C*N

其中：

where

h(x_i)＝W_hx_i

在上式中，權重W_f，W_g，W_h進行卷積核大小為1*1的卷積操作

其中：

將關注層的輸出o乘以比例參數γ并添加到特征圖，最終的輸出為：

y_i＝γo_i+x_i

其中，y是一個可學習的標量，初始時y被設置為0，這樣網絡可以更多地關注鄰近區域，然后將權重分配給非鄰近的線索，逐步增加任務的復雜度；

S3、基于自注意機制的恢復對抗網絡：

S3.1、生成網絡：在生成塊中主要采用殘差結構提取特征，每個生成塊為2個卷積，3*3濾波器和64個特征映射，并添加頻譜歸一化層和批處理層；

S3.2、對抗網絡：感知損失和對抗損失，通過最小化對抗性損失的鉸鏈形式以交替方式進行訓練：

其中，z為隨機采樣噪聲，y為輸入的失真圖像，x為無失真圖像；

S4、評價網絡：

S4.1、恢復增值AoR：失真圖像Gx和生成圖像D(Gx)兩者的感知距離AoR定義為恢復增值AoR；另外，評價網絡將恢復patch和失真patch同時作為輸入，與鑒別器結構的目標相似；

S4.2、質量評估：對每塊的質量預測分數求加權和來更好地反映圖像的整體感知質量；將失真patch和恢復patch提取的特征向量融合，并送入兩個分支分別回歸計算感知評分qk和權值wk，然后對它們進行空間匯集，得到最終的圖像質量。

2.根據權利要求1所述的基于自注意力機制GAN網絡的無參考圖像質量評價方法，其特征在于：所述步驟S2.1中質量評價網絡EN以失真圖像Gx和生成圖像D(Gx)為輸入，以兩者的感知距離AoR為指導，融合三者產生預測的質量分數加權和作為輸出。

3.根據權利要求1所述的基于自注意力機制GAN網絡的無參考圖像質量評價方法，其特征在于：所述步驟S3.1中在第五層和第六層之后使用自注意模塊，學習特征圖中的長程依賴，最后輸出為tanh層。

4.根據權利要求1所述的基于自注意力機制GAN網絡的無參考圖像質量評價方法，其特征在于：所述步驟S4.2中權重回歸模塊與質量回歸分支并行運行并共享維度，對于圖像塊i，該分支的輸出是αi，通過ReLU激活并添加一個小的穩定性項e：