[發明專利]一種基于稠密連接網絡與生成式對抗網絡的圖像超分辨率方法

有效

• 申請號: 201910033048.5
• 申請日: 2019-01-14
• 公開（公告）號: CN109903223B
• 公開（公告）日: 2023-08-25
• 發明（設計）人: 祝曉斌;李莊子;張新明;代峰
• 申請（專利權）人: 北京工商大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗

本發明提供一種基于稠密連接網絡與生成式對抗網絡的圖像超分辨率方法，即將低分辨率圖像轉化為高分辨率。該方法包括三個模型：基于稠密連接網絡的生成器，基于VGG19網絡的特征提取器；基于超分辨率圖像的卷積神經網絡判別器。在這個方法中，生成器的輸入為低分辨率圖像，生成高分辨率圖像。特征提取器用于提取出生成的高分辨率圖像的內容特征，判別器用于判別生成高分辨率圖像的分布信息是否表達準確。三種模型聯合優化。優化過程中采用像素間的均方誤差損失、基于VGG?19的內容損失、以及在判別器上的對抗損失。本發明根據低分辨率圖像產生高分辨率圖像，適用于各種場景的圖像數據。

技術領域

本發明屬于圖像超分辨率技術領域，具體涉及一種基于稠密連接網絡結構的設計，以及生成式對抗網絡的圖像超分辨率方法，適用于4倍圖像的超分辨率。

背景技術

圖像超分辨率是計算機視覺中的經典任務之一，其目標是通過低分辨率輸入圖像重建高分辨率圖像。它通常使用在一些特定的重要領域，比如車牌圖像和醫學圖像的圖像超分辨率等。然而，圖像超分辨率是一個不可逆的問題，因為對于任何低分辨率的像素都有多個可能的原始值。為了解決這個問題，模型從低分辨率圖像到高分辨率圖像需要的強大的映射函數并且要基于足夠的先驗知識來學習。

早期的圖像超分辨方法采用雙三次的插值法，雖然此方法快速、高效，但是會導致產生的圖像模糊。近年來，超分辨率主要有兩大方式，其一，是基于內部的實例的方法，它利用了自相似性屬性，并從可以輸入圖像中生成了子圖像塊。另一方面，基于外部的實例的方法學習了從低分辨率到高分辨率的訓練數據集的映射函數。近年來學術界提出了基于卷積神經網絡(CNN)的方法，屬于第二種方式，其中的輸入是雙三次插值的圖像子塊。該方法可以潛在地學習強大的映射功能。與其他機器學習方法相比，這種超分辨率卷積神經網絡(SRCNN)可以產生非常清晰的生成圖。隨著網絡的層數逐漸加深產生了更好地超分辨率效果。稠密連接網絡的出現可以使得特征傳輸效果更好，并且可以大大增加網絡深度，這就能使得網絡獲得更大的感受野，取得更好的函數映射效果。

生成式對抗網絡(GANs)是一種深度學習模型，是近年來復雜分布上無監督學習最具前景的方法之一。模型通過框架中(至少)兩個模塊：生成器和判別器，它們互相博弈學習可以產生相當好的輸出。GAN提供了一個完善的模型，其中判別器是測量生成的輸出和目標數據之間的分布。并且根據其判別與生成的數據地差異對生成器進行訓練。WGAN(Wasserstein?GAN)提供了一個更穩定的訓練框架。在判別器判別的過程中，采用了推土機距離(EMD)，而不是之前的Jensen-Shannon散度能更好地度量不同數據之間的分布。近年來，深度學習在計算機視覺等相關領域取得很好的實驗及應用效果。深度學習的目標就是從復雜的數據中學習到魯棒的、有豐富表達能力的語義信息，然而，深度學習產生的圖像是基于均方損失函數的，這往往會帶來一些模糊效果，因此生成式對抗網絡與圖像超分辨率相關的結合成為了解決問題的關鍵。

Christian?Ledig等人提出論文“Photo-Realistic?Single?Image?Super-Resolution?Usinga?Generative?Adversarial?Network”,并且發現4倍以上的圖像超分辨率會使圖像平滑模糊，分析了超分辨率圖像與高分辨率圖像像素間的均方誤差(MSE)損失函數并不能很好地更新生成器。于是使用了多重損失函數，引入了基于VGG-19網絡的內容損失以及判別器的對抗損失，其思想是對原始圖像和生成圖像進行判別，使得超分辨率之后的圖像與原始圖像在風格上相似。該論文雖然也采用生成式對抗網絡對生成器進行訓練，并且引入多重損失增加圖像的真實感，但其方法使用層數較少的網絡以及并不健壯，而其判別器采用的是?Jensen-Shannon散度并不能很好的度量超分辨率圖像與高分辨率圖像之間的真是距離。本發明改進了這兩點，即使用深度更深的稠密連接網絡用作生成器以及EMD用于判別器。

發明內容