[發明專利]基于自注意力機制GAN網絡的無參考圖像質量評價方法

有效

• 申請號: 202011247062.4
• 申請日: 2020-11-10
• 公開（公告）號: CN112419242B
• 公開（公告）日: 2023-09-15
• 發明（設計）人: 薛思雨;惠康樂;劉順;侯紅
• 申請（專利權）人: 西北大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/0464;G06N3/045;G06N3/0475;G06N3/091;G06N3/094
• 代理公司: 深圳紫晴專利代理事務所(普通合伙) 44646
• 代理人: 程玉紅

本發明公開了基于自注意力機制GAN網絡的無參考圖像質量評價方法，具體涉及圖像處理領域，由三個部分組成：生成網絡，判別網絡和質量評價網絡；生成網絡對輸入的失真圖像進行特征提取和恢復重構，判別網絡對重構后的圖像與無失真圖像盡可能地進行區分。本發明通過增加自注意力模塊，改進模型結構來增強對抗學習強度，輸出更可靠的模擬“參考圖”；在LIVE和TID2013數據集上進行實驗，由結果可知本文所提出的SARAN算法在無參考失真圖像的質量評價上的總體客觀評價性優于當前的主流算法，且針對不同失真類型也表現了較好的性能，表明SARAN算法與主觀評價結果的相關性較高，更加符合視覺感知系統(HVS)對圖像質量的感知一致性。

技術領域

本發明涉及圖像處理技術領域，更具體地說，本發明涉及基于自注意力機制GAN網絡的無參考圖像質量評價方法。

背景技術

隨著移動設備和社交軟件的蓬勃發展，人們對圖像分辨率和清晰度的要求也越來越高。對圖像采集和處理過程中所引起的失真或退化進行質量評估，有著舉足輕重的作用。

IQA算法主要可分為：全參考、部分參考和無參考IQA算法。在近年的研究中，FR-IQA和RR-IQA已經取得了與人眼感知相關性非常高的效果，但它們需要借助參考圖像的全部或部分信息，因此在實際應用中受限較多。相比之下，NR-IQA僅將被評估的失真圖像作為輸入，不依賴被評估圖像的任何附加信息，具有廣泛的適用場景和應用價值，因此NR-IQA逐漸成為圖像評價算法的主流研究。在無參考圖像的質量評價算法中，Moorth等人提出了一種基于小波域的自然圖像統計特性算法(DIVINE)，該框架確定圖像中每一種失真類型的可能性后，回歸得到的加權平均值作為圖像質量。BRISQUE(Mittal，Moorthy，and?Bovik2012)和bliind-ii(Saad，Bovik，and?Charrier?2012)利用自然場景統計(NSS)信息來建模圖像的感知質量。另一方面，(Bosse?et?al.2016；Kang等2015；2014)采用深度神經網絡從輸入圖像中提取有效的特征并進行回歸估計感知分數。以上iqa方法的主要思想為僅基于失真圖像自身的特征進行提取和回歸。

隨著研究人員對人眼視覺系統的研究發現，人眼在評價圖像的失真程度時，往往需要一個未失真的圖像作為參考進行比較，從而量化視覺感知的差異(找引用)。為了彌補視覺感知差異圖像的缺失，在Hallucinated-IQA和RAN4IQA算法中，使用GAN網絡先對失真圖像進行恢復，并將恢復圖像和失真圖像作為輸入，輸出失真圖像的質量分數，現有的技術在圖像采集過程中容易忽視關鍵細節信息，從而造成對圖像感知的偏差和準確性降低。

發明內容

為了克服現有技術的上述缺陷，本發明的實施例提供基于自注意力機制GAN網絡的無參考圖像質量評價方法，本發明所要解決的技術問題是：如何提高現有圖像采集技術中對圖像感知能力。

為實現上述目的，本發明提供如下技術方案：基于自注意力機制GAN網絡的無參考圖像質量評價方法，具體評價步驟如下：

S1、相關工作：

S1.1、生成式對抗網絡模型：生成式對抗網絡模型算法同時訓練生成器和鑒別器兩個模型，生成器試圖繪制更真實的圖像來欺騙鑒別器，輸入為失真圖像(Gx)，通過卷積和反卷積，生成一張復原圖，并將失真圖以及失真圖與復原圖的殘差圖作為輸入輸出失真圖的質量分數；

S1.2、自我注意力生成對抗性網絡：在生成式對抗網絡模型中引入了self-Attention機制，使得生成網絡協調好每一個位置的局部細節和遠端細節，判別網絡能更準確地學習到全局圖像結構的幾何約束，在生成式對抗網絡模型中引入self-Attention機制，讓生成器和判別器可以自動學習圖像中的重要目標，使得網絡在每一層都能考慮全局信息，且能夠很好地處理圖像中長范圍、多層次的依賴，在提高感受野和減小參數量之間得到了一個更好的平衡；由于人眼視覺感知系統會把目光聚集在圖像的重要patch上，綜合考慮圖像的局部性和整體性是圖像生成的關鍵，因此我們采用自我注意力生成對抗性網絡思想來穩定對抗訓練；