[發明專利]一種基于改進生成對抗網絡的圖像超分辨率方法

在審

• 申請號: 202210128444.8
• 申請日: 2022-02-11
• 公開（公告）號: CN114463181A
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 趙軍;王銀
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50;G06N3/04;G06N3/08
• 代理公司: 北京同恒源知識產權代理有限公司 11275
• 代理人: 廖曦

本發明涉及一種基于改進生成對抗網絡的圖像超分辨率方法，屬于圖像處理領域。獲取高分辨圖像數據集，將數據集分為訓練集和測試集；把高分辨率圖像訓練集進行雙三次下采樣得到低分辨圖像數據集；在ESRGAN的生成器模塊中使用RFB模塊和殘差塊，在ESRGAN鑒別器模塊中，使用U?net判別器代替相對判別器；在損失函數中引入LPIPS感知損失和L1損失改進GAN網絡的生成損失函數。將訓練集中的低分辨率圖像輸入到生成器G中訓練，輸出重建的超分辨率圖像；將生成器G的輸出結果和原始高分辨率圖像一起輸入到U?net判別器D_U中。本發明可以有效地提高超分辨圖像的質量，降低圖像中的偽影和不真實的細節。

技術領域

本發明屬于圖像處理領域，涉及一種基于改進生成對抗網絡的圖像超分辨率方法。

背景技術

在圖像處理領域中，圖像超分辨率一直是個值得研究的課題。在互聯網時代，圖像超分辨在許多方面都有應用。圖像超分辨技術能夠采用軟件的方法提升圖像的分辨率，并且能夠以大倍數的放大圖像，并且保持圖像的清晰度。這些優點在互聯網通信和存儲設備上得到了廣泛地關注。圖像超分辨技術可以很好地滿足用戶對圖像細節方面的要求，讓人類可以獲得更好的視覺和交互體驗。

但是現有的圖像超分辨率算法，或多或少的存在一些問題。目前有三類研究方法，分別是基于插值的算法，基于重建的算法，基于學習的算法。基于插值的算法有：最近領域法、雙線性插值法等，這類算法的實時性較好，但是得到的超分辨率圖片的效果較差。基于重建的算法有：凸集投影法，最大后驗概率等，這類算法需要圖像退化的先驗知識，實現重建。但得到的超分辨圖像的質量會隨著放大倍數的增加而急劇下降。基于學習的算法有：基于卷積神經網絡的圖像超分(SRCNN)，基于生成對抗網絡的圖像超分(SRGAN)等。這類算法，得到的超分圖像質量較好，可以實現接近于原圖的超分辨率重建。但也存在著一些問題，比如重建后的圖片會有一些不真實的紋理和令人不愉快的偽影等。

發明內容

有鑒于此，本發明的目的在于提供一種基于改進生成對抗網絡的圖像超分辨率方法。

為達到上述目的，本發明提供如下技術方案：

一種基于改進生成對抗網絡的圖像超分辨率方法，該方法包括以下步驟：

S1：獲取高分辨率圖像數據集，采用雙三次插值的方法下采樣，獲得相應的低分辨率圖像，并隨機將其分成訓練集和測試集；

S2：在ESRGAN的生成器模塊中使用RFB(Receptive Field Block)模塊和殘差塊，在ESRGAN鑒別器模塊中，使用U-net判別器代替相對判別器；

S3：在損失函數中引入LPIPS感知損失和L1損失改進GAN網絡的的生成損失函數；

S4：將訓練集中的低分辨率圖像輸入到生成器G中訓練，輸出重建的超分辨率圖像；

S5：將生成器G的輸出結果和原始高分辨率圖像一起輸入到U-net判別器DU中。

可選的，所述雙三次插值的方法下采樣的倍數分別為2倍和4倍。

可選的，所述使用U-net判別器代替相對判別器具體為：把相對判別器D改為U-net判別器D_U；U-net判別器判斷生成圖像的真實性，損失函數為：

其中E為取均值操作，為U-net鑒別器編碼器部分的損失函數，為U-net鑒別器解碼器部分的損失函數，L_cons為U-net鑒別器的CutMix正則化函數；D_enc為U-net鑒別器的編碼器部分，D_dnc為U-net鑒別器的解碼器部分。