[發明專利]一種基于改進生成對抗網絡的圖像超分辨率方法

在審

• 申請號: 202210128444.8
• 申請日: 2022-02-11
• 公開（公告）號: CN114463181A
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 趙軍;王銀
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50;G06N3/04;G06N3/08
• 代理公司: 北京同恒源知識產權代理有限公司 11275
• 代理人: 廖曦

1.一種基于改進生成對抗網絡的圖像超分辨率方法，其特征在于：該方法包括以下步驟：

S1：獲取高分辨率圖像數據集，采用雙三次插值的方法下采樣，獲得相應的低分辨率圖像，并隨機將其分成訓練集和測試集；

S2：在ESRGAN的生成器模塊中使用RFB(Receptive Field Block)模塊和殘差塊，在ESRGAN鑒別器模塊中，使用U-net判別器代替相對判別器；

S3：在損失函數中引入LPIPS感知損失和L1損失改進GAN網絡的的生成損失函數；

S4：將訓練集中的低分辨率圖像輸入到生成器G中訓練，輸出重建的超分辨率圖像；

S5：將生成器G的輸出結果和原始高分辨率圖像一起輸入到U-net判別器D_U中。

2.根據權利要求1所述的一種基于改進生成對抗網絡的圖像超分辨率方法，其特征在于：所述雙三次插值的方法下采樣的倍數分別為2倍和4倍。

3.根據權利要求1所述的一種基于改進生成對抗網絡的圖像超分辨率方法，其特征在于：所述使用U-net判別器代替相對判別器具體為：把相對判別器D改為U-net判別器D_U；U-net判別器判斷生成圖像的真實性，損失函數為：

其中E為取均值操作，為U-net鑒別器編碼器部分的損失函數，為U-net鑒別器解碼器部分的損失函數，L_cons為U-net鑒別器的CutMix正則化函數；D_enc為U-net鑒別器的編碼器部分，D_dnc為U-net鑒別器的解碼器部分。

4.根據權利要求1所述的一種基于改進生成對抗網絡的圖像超分辨率方法，其特征在于：所述在ESRGAN的生成器模塊中使用RFB模塊和殘差塊具體為：

網絡的前半段為SCDB殘差塊，后半段為RFB模塊，為加快重建速度，在上采樣U-PA模塊中使用像素注意力機制模塊PA。

5.根據權利要求1所述的一種基于改進生成對抗網絡的圖像超分辨率方法，其特征在于：所述S3具體為：

L_G＝λ₁L₁+λ₂L_Lpips+λ₃L_fm+λ₄L_adv

式中L₁為重建圖像HR與原始圖像GT像素之間的一范數；L_Lpips為LPIPS感知損失函數，L_fm為生成器的正則化項，具體為U-net判別器中每層解碼器和編碼器的差值；L_adv為對抗損失函數；λ₁,λ₂,λ₃,λ₄為平衡各項參數的超參；

式中，H,W為圖片的高和寬，h,w為patch的高和寬，y,y₀分別為HR和GT的特征圖；

式中，E為取均值操作，z為輸入的低清圖像LR，D_enc為U-net鑒別器的編碼器輸出，D_dnc為U-net鑒別器的解碼器輸出，G(z)為生成器的輸出的圖像HR。

6.根據權利要求5所述的一種基于改進生成對抗網絡的圖像超分辨率方法，其特征在于：所述S4具體為：

將輸入的低分辨率圖像分成設定大小的圖像塊；

將得到的圖像塊輸入到生成器G中進行訓練，輸出設定個數的特征圖；

將生成器前半部分的若干SCDB殘差卷積層輸出的特征圖輸入到后半部分的RFB模塊；

將得到的特征圖輸入到上采樣模塊U-PA中，經過上采樣后得到輸出結果。

7.根據權利要求6所述的一種基于改進生成對抗網絡的圖像超分辨率方法，其特征在于：所述S5具體為：

S5.1：在U-net判別器中，鑒別器分為兩個部分，解碼器和編碼器，先用大小為3×3的卷積核對輸入的生成的超分辨圖像和原高分辨率圖像對做卷積處理；

S5.2：將得到的特征圖經過批量歸一化卷積層；

S5.3：將S5.3得到的特征圖經過池化層，使其特征圖的大小縮小一半；

S5.4：將上一步得到特征圖經過LeakyReLU激活函數，輸出非線性特征圖；

S5.5：將上述S5.2～S5.4步驟重復設定次數，且卷積核都為3×3，卷積核的數量以2倍的速率由64增長到1024；

S5.6：將S5.5得到的特征圖輸入到一個全連接層，得到編碼器輸出；

S5.7：將S5.5得到的特征圖送入解碼器模塊中，先將特征圖上采樣；

S5.8：將S5.7得到的特征圖經過一個3×3的卷積層、上采樣層、批量歸一化層以及LeakyReLU激活函數；

S5.9：將上述S5.7～S5.8步驟重復設定次數，且卷積核都為3×3，卷積核的數量以2倍的速率由1024減少到64；

S5.10：將S5.9得到的特征圖輸入到一個全連接層中，得到解碼器的輸出；

S5.11：最后根據編碼器和解碼器的輸出綜合判斷生成的圖像是否真實。