[發明專利]基于生成對抗網絡的RPGAN圖像超分辨率重建方法

有效

• 申請號: 202110458964.0
• 申請日: 2021-04-27
• 公開（公告）號: CN113160057B
• 公開（公告）日: 2023-09-05
• 發明（設計）人: 鐘玲;趙冉升;王昱;王博文;閆楚婷;李其澤;劉瀟;王宇航
• 申請（專利權）人: 沈陽工業大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/0475;G06N3/094;G06N3/0464;G06N3/048
• 代理公司: 沈陽智龍專利事務所(普通合伙) 21115
• 代理人: 宋鐵軍

本發明公開了基于生成對抗網絡的RPGAN圖像超分辨率重建方法，該方法包括1)設計RPGAN的生成器模型；2)設計RPGAN的鑒別器模型；3)設計感知損失計算方案；4)完成對RPGAN模型的訓練；5)實現圖像分辨率的提升、參數量降低以及訓練時間的縮短。通過提出的RPGAN模型針對重建圖像細節不足、參數量龐大、對硬件要求高等問題進行改進。該模型使用基于遞歸塊的生成器更好地利用網絡中的淺層特征，提升參數的利用率，使用更少的參數量達成更好的重建效果，實現了生成器的輕量化；使用圖像塊思想的鑒別器能夠更準確地分辨大尺寸的超分辨率圖像和真實圖像，提升整個模型的學習效率，使模型能夠更快收斂。

技術領域

本發明涉及圖像超分辨率重建技術領域，具體為一種新型生成對抗網絡模型的超分辨率重建方法。

背景技術

圖像蘊含著豐富的信息，是當下獲取信息的重要途徑。圖像超分辨率重建能夠對圖像質量進行改善，提升圖像的分辨率，在計算機視覺領域受到廣泛關注。高分辨率的X光照相(Radiography)、核磁共振圖像(Magnetic?Resonance?Imaging，MRI)、計算機斷層掃描照片(Computed?Tomography，CT)等醫療影像可以確認具體的病情，定制更加有效的治療計劃；在社會治安方面，清晰的圖像和視頻能夠讓公安機關更快鎖定目標人物，提升警方偵破案件的速度。從軟件和算法的角度實現圖像超分辨率重建的技術，相比于光學元件等圖像采集設施的提升，其成本更低，技術研究的周期更短，是使用計算機解決圖像領域問題的優秀方案。

傳統SR重建算法以圖像降質過程作為研究對象，針對不同的降質過程，構建出不同的逆變換數學模型。其中，基于插值的算法是計算復雜度較低的SR重建算法，估計待插入位置像素值的依據是圖像的先驗信息。基于重建的方法假定HR圖像是原始信號，而低分辨率(LR)圖像則是原始信號經采樣后的信號，其中包含均衡和非均衡采樣，它將圖像SR重建問題理解為由采樣信號估計出原始信號的問題。

目前，基于GAN的超分辨率重建算法的相關研究集中在生成器、鑒別器的網絡結構方面。生成器為提取更多細節特征，采用增大感受野、增加網絡深度等方法，避免由此帶來的計算復雜度的增加是生成器研究的重點。鑒別器優化的側重點則是如何更快、更準確地鑒別大尺寸高分辨率圖像的細節。

分辨率能夠表征圖像質量，度量圖像的清晰程度，作為圖像的重要屬性之一，為人們所共識。高分辨率圖像在同等大小的區域內包含更多的像素，包含更多紋理，可以幫助觀察者迅速、準確地獲取更多的信息。近年來提出的基于GAN的圖像超分辨率重建模型存在重建圖像丟失細節、參數量龐大、訓練困難等問題。因此設計一種參數量更少、訓練時間更短，重建圖像細節更豐富的超分辨率重建模型具有非常重要的現實意義。

發明內容

本發明的目的在于提供了一種基于生成對抗網絡的RPGAN圖像超分辨率重建方法，以參數量更少的模型完成圖像的超分辨率重建工作，使重建出的圖像細節更豐富，并減少訓練時間和硬件要求。

為實現上述目的，本發明提供如下技術方案：基于生成對抗網絡的RPGAN圖像超分辨率重建方法，該方法包括

1)設計RPGAN的生成器模型；

2)設計RPGAN的鑒別器模型；

3)設計感知損失計算方案；

4)完成對RPGAN模型的訓練；

5)實現圖像分辨率的提升、參數量降低以及訓練時間的縮短；

使用基于遞歸和圖像塊思想改進生成對抗網絡，完成超分辨率的重建；低分辨率(LR)圖像通過生成器子網絡G產生對應的高分辨率(HR)圖像，鑒別器子網絡D用于分辨輸入的圖像是生成的HR圖像還是真實高清圖像，通過優化子網絡G和D提升整個模型的超分辨率重建效果；其價值函數如式(1)所示