[發明專利]一種基于生成對抗網絡的高分辨率圖像生成方法

有效

• 申請號: 201911105666.2
• 申請日: 2019-11-13
• 公開（公告）號: CN111563841B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 張賀舒;李濤;宋公飛
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/084;G06N3/0464
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 劉傳玉

本發明公開了一種基于生成對抗網絡的高分辨率圖像生成方法，首先對待學習的數據集圖像進行預處理得到訓練集；然后構建包含生成網絡和判別網絡的生成對抗網絡，對生成對抗網絡進行預訓練，獲得預訓練的模型參數作為生成對抗網絡的初始化參數：接著，將訓練集和生成網絡生成的圖像分別輸入到判別網中，判別網絡的輸出反作用于生成網絡，對生成對抗網絡進行對抗訓練，優化生成網絡和判別網絡的網絡參數，當損失函數收斂時結束訓練，得到訓練好的生成對抗網絡；最后，將隨機數據分布輸入到訓練好的生成網絡中，實現高分辨率圖像生成。本發明生成圖像更加清晰、訓練過程穩定且網絡較快收斂。

技術領域

本發明涉及深度學習和圖像處理領域，尤其涉及一種基于生成對抗網絡的高分辨率圖像生成方法。

背景技術

隨著圖形繪制技術、數字信號處理技術、傳感技術、圖形技術的發展，虛擬現實的研究日益廣泛，即利用計算機生成逼真的圖像等，使得用戶可以在虛擬環境中實現交互和控制。在內容創建、智能編輯方面，很多軟件可以改變圖像的表情、皺紋等，這對高質量、多樣性的圖像生成技術提出很大需求。同時在許多對信息安全要求較高的公司(如信用卡公司)，需要構建虛擬欺詐數據、圖像等來提高欺詐檢測系統，這也屬于數據增強的應用。人們對生成圖像的要求越來越高。但是利用計算機從數據中學習生成高保真、高分辨率、多樣化的圖像仍然是很大的挑戰。

近年來，生成圖像建模領域涌現了很多成果。2014年lan?Goodfellow創造性地提出了基于深度學習的生成對抗網絡(Generative?Adversarial?Network,GAN)，目前GAN已經成為首選和最前沿的生成模型之一。2016年Honglak?Lee等人提出了一種新的GAN架構，有效的連接文本和圖像建模之間的步驟。2017年Han?Zhang等人提出了堆疊生成對抗網絡(StackGAN:Text?to?Photo-realistic?Image?Synthesis?with?Stacked?GenerativeAdversarial?Networks,StackGAN)來生成基于文本描述的真實圖像。2018年Han?Zhang,Ian?Goodfellow等人將NLP領域的自注意力機制引入生成對抗網絡，提出自注意力生成對抗網絡(Self-Attention?Generative?Adversarial?Networks,SAGAN)，很大程度上提高了圖像生成的質量。

2015年Denton,E等人提出了基于生成對抗網絡的拉普拉斯金字塔(DeepGenerative?Image?Models?using?a?Laplacian?Pyramid?of?Adversarial?Networks,LAPGAN)算法，能夠生成高質量的圖像，但是細節效果太差，并且該網絡的訓練方式過于自由，模型缺少約束，很難平衡各級聯GAN，對于較大輸入圖片或較多像素會導致訓練或模式崩潰使得整個模型不可控。

發明內容

本發明所要解決的技術問題是針對現有技術LAPGAN在生成圖像方面的細節效果模糊、網絡的訓練方式過于自由、模型缺少約束、很難平衡各級聯GAN、對于較大輸入圖片或較多像素會導致訓練或模式崩潰使得整個模型不可控的缺陷或問題，提供一種基于生成對抗網絡的高分辨率圖像生成方法，達到生成圖像更加清晰、訓練過程穩定且網絡較快收斂的效果。

本發明為解決上述技術問題采用以下技術方案：

一種基于生成對抗網絡的高分辨率圖像生成方法，包含以下步驟：

步驟1)，對待學習的數據集圖像進行預處理得到訓練集；

步驟2)，構建生成對抗網絡，所述生成對抗網絡包含生成網絡G和判別網絡D兩個深度卷積神經網絡；

步驟3)，對生成對抗網絡進行預訓練，獲得預訓練的模型參數作為生成對抗網絡的初始化參數：

步驟3.1)，隨機初始化生成對抗網絡的模型參數，對生成對抗網絡進行訓練并保存訓練完成時的模型參數；