[發明專利]基于ERGAN網絡單幅圖像超分辨重建方法

在審

• 申請號: 201810830164.5
• 申請日: 2018-07-25
• 公開（公告）號: CN109191378A
• 公開（公告）日: 2019-01-11
• 發明（設計）人: 李孝杰;伍賢宇;何嘉;吳錫;周激流;史滄紅;郭峰;羅超;張憲;劉書樵;李俊良
• 申請（專利權）人: 成都信息工程大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 北京元本知識產權代理事務所 11308
• 代理人: 常桑

本發明涉及一種基于ERGAN網絡單幅圖像超分辨重建方法。本發明包括以下步驟：輸入待重建圖像I；將待重建圖像I分為大小為m*m的圖像塊集合，每一個圖像塊用表示，i＝1，2，...，s；將處理成n*n大小的低分辨率圖像將低分辨率圖像輸入到生成器G中進行訓練；將生成器G輸出的結果G(z)和一同輸入到鑒別器D中；將需要重建的圖像再經過生成器G網絡超分辨重建。本發明提出了基于生成對抗網絡，增強對稱殘差單位的單圖像超分辨率(ERGAN)，在訓練的過程中保留了高頻特征，減輕深層網絡訓練的難度。

技術領域

本發明涉及圖像重建技術領域，具體的說是一種基于ERGAN網絡單幅圖像超分辨重建方法。

背景技術

超分辨率(SR)技術用于從低分辨率(LR)圖像或圖像序列重建高分辨率(HR)圖像。圖像超分辨率重建的核心概念是利用時間帶寬(同一場景的多幀圖像序列)來實現時間分辨率到空間分辨率的轉換。目前的圖像超分辨率方法可分為三大類：基于插值的，基于的重建，以及基于學習的。雖然已有許多基于非神經網絡的重建方法，但其效果不如基于深度學習的超分辨率技術。

基于生成對抗網絡(GAN)由兩部分組成：生成器G和鑒別器D。生成器G可以用來生成與原始圖像接近的超分辨率圖像G(z)。判別器D可以區分是來自生成網絡或訓練數據X上的圖像。我們知道，生成器的目標是在訓練數據X上學習分布p_g。因此，生成器輸入的是隨機向量z滿足高斯分布P_z(z)，然后將輸入z映射到數據空間G(z；θ_g)。另一方面，鑒別器網絡可以被認為是從圖像數據映射到圖像來自真實數據分布p_g，而不是生成器分布的概率的函數。

深度學習為重建超分辨率圖像提供了許多良好的訓練方法。SRCNN是首次提出的用神經網絡方法中。然而，SRCNN網絡是不穩定的，很難以訓練。此外，通過最小化均方誤差(MSE)獲得的圖像太平滑，這也顯著地降低了峰值信噪比(PSNR)。提出的MDSR，在傳統的殘差網絡中去掉不必要的模塊(例如，批歸一化)，并設置了多尺度的深度超分辨率系統和訓練方法。它對每個單尺度超分辨率圖像的管理都有很好的效果。基于Laplacian金字塔的方法，提出了LapSRN圖像超分辨率結構。金字塔的每一級以粗分辨率的特征映射作為輸入，并使用反卷積以獲得更精細的特征映射。此外，使用健壯的Charbonnier函數對網絡進行訓練，獲得更好的超分辨效果。

發明內容

針對現有技術中存在的上述不足之處，本發明要解決的技術問題是提供一種基于ERGAN網絡單幅圖像超分辨重建方法。

本發明為實現上述目的所采用的技術方案是：一種基于ERGAN網絡單幅圖像超分辨重建方法，包括以下步驟：

輸入待重建圖像I；

將待重建圖像I分為大小為m*m的圖像塊集合，每一個圖像塊用表示，i＝1，2，...，s；

將處理成n*n大小的低分辨率圖像

將低分辨率圖像輸入到生成器G中進行訓練；

將生成器G輸出的結果G(z)和一同輸入到鑒別器D中；

將需要重建的圖像再經過生成器G網絡超分辨重建。

所述將低分辨率圖像輸入到生成器G中進行訓練，包括以下步驟：

用大小為3×3的卷積核對低分辨率圖像做卷積處理；

對上一步驟輸出的特征圖進行殘差處理；

對上一步驟輸出的特征圖用大小為3×3的卷積核做卷積處理；

對上一步驟輸出的特征圖進行殘差處理；

殘差單元對稱跳躍連接；

經過兩層子像素卷積，生成結果G(z)。