[發明專利]基于cGAN算法的圖像超分辨恢復技術

在審

• 申請號: 201710368897.7
• 申請日: 2017-05-23
• 公開（公告）號: CN107274358A
• 公開（公告）日: 2017-10-20
• 發明（設計）人: 劉怡俊;劉洋
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T3/40;G06N3/02
• 代理公司: 廣東廣信君達律師事務所44329
• 代理人: 楊曉松

技術領域

本發明屬于計算機圖像視覺領域，基于生成深度卷積對抗神經網絡圖像超分辨恢復。

背景技術

自從2012年AlexNet卷積神經網絡橫空出世后，神經網絡儼然已成為現在learning的主流。比起貝葉斯學派的強先驗假設(priori)，SVM在核函數(kernel)上的反復鉆研，神經網絡不需要科研者過多關注細節，只需要提供好海量的數據和設置好超參數，便能達到不錯的效果。期刊文獻(Goodfellow I J,Pougetabadie J,Mirza M,et al.Generative Adversarial Networks[J].Advances in Neural Information Processing Systems,2014,3:2672-2680.)，是GAN的開山之作。GAN原理比較簡單，這里以生成圖片為例進行說明，GAN包含兩個網絡：生成器G(Generator)和判別器D(Discriminator)。G是一個生成圖片的網絡，接收隨機噪聲z，通過這個噪聲生成圖片，記做G(z)；D是一個判別網絡，D是一個判別網絡，判別一張圖片是不是“真實的”。它的輸入參數是x，x代表一張圖片，輸出D(x)代表x為真實圖片的概率，如果為1，就代表100％是真實的圖片，而輸出為0，就代表不可能是真實的圖片。在訓練過程中生成網絡G盡量生成目標圖像去欺騙判別器D，而判別器D的任務則是將G生成的圖像和目標圖像分別開來，輸出代表真實目標圖片的概率。這樣G和D構成一個動態的“博弈過程”。最終理想結果就是G可以生成足以“以假亂真”的圖片G(z)。對于D來說，它難以判定G生成的圖片究竟是不是真實目標的。

相近的實現方案：例如文獻1(Dong C,Loy C C,He K,et al.Image Super-Resolution Using Deep Convolutional Networks.[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2016,38(2):295.)中率先提出利用深度學習進行圖像的超分辨恢復。該論文中利用三層卷積神經網絡，網絡輸入為灰度的低分辨圖像，輸出端為對應的高分辨圖像，進過大量的訓練得到相應的模型再對低分辨圖像進行測試從而得到超分辨圖像。

文獻1的方法中，需要進行大量的訓練，并且網絡層相對交淺所以訓練得到的模型包含的特征權值不夠全，所以最后恢復效果并不理想。訓練時用的是灰度圖，所以對三通道彩色圖像的超分辨恢復效果不好。

發明內容

針對現有技術存在的不足，本發明提供對抗神經網絡(GAN)圖像超分辨率恢復的方法，可以訓練彩色圖像達到更好的恢復效果。

為實現上述目的，所提出的一種基于cGAN圖像超分辨率恢復，包括如下步驟：

(1)制作訓練集及圖像集。

(2)設計神經網絡并進行調整。

(3)進行訓練。

(4)得到模型進行測試。

與現有技術相比較，本發明具備以下優點：

(1)訓練時間短，由于網絡的優越性需要少量的訓練次數就可以達到較好的效果；(2)可以直接訓練三通道彩色圖，采用了三通道訓練的接口代碼；(3)無需太多的圖像預處理，只用講圖像分割成統一大小即可；(4)訓練出模型后可以一勞永逸的使用,只需訓練出模型然后可以用到很多圖像重建的場所如監控設備拍攝的不清晰圖像，可以對其進行超分辨恢復來達到更好的顯示效果。

附圖說明

圖1本發明生成器G網絡結構圖；

圖2本發明判別器D網絡結構圖；

圖3本發明方法算法流程圖。

具體實施方式

本發明提供了一種基于cGAN圖像超分辨率恢復，如圖3所示，其包括以下步驟：

(1)制作訓練集及圖像集。

(2)設計神經網絡并進行調整。

(3)進行訓練。

(4)得到模型進行測試。

上述1)制作訓練集及圖像集。具體包括以下步驟：

11)通過python編寫代碼。

12)下載超分辨研究常用的圖像。

13)利用上述代碼對圖像進行分割成統一的大小。

14)對13)得到的圖像進行低分辨處理得到兩份圖像分別是低分辨和原始高分辨圖像。

上述2)設計神經網絡并進行調整。具體包括以下步驟：