[發(fā)明專利]一種基于漸進(jìn)式增長條件生成對抗網(wǎng)絡(luò)的圖像生成方法

在審

• 申請?zhí)枺?/td>: 202211044163.0
• 申請日: 2022-08-30
• 公開（公告）號: CN115439323A
• 公開（公告）日: 2022-12-06
• 發(fā)明（設(shè)計）人: 王瑞琴;馬輝;楊帥
• 申請（專利權(quán)）人: 湖州師范學(xué)院
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 杭州中利知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 33301
• 代理人: 韓洪

本發(fā)明提出了一種基于漸進(jìn)式增長條件生成對抗網(wǎng)絡(luò)的圖像生成方法，包括以下步驟：噪聲和類別標(biāo)簽被傳入生成器G的初始模塊中生成低像素圖像的特征，然后由特征轉(zhuǎn)圖片模塊轉(zhuǎn)為圖像輸出；判別器D接收真圖像和假圖像，傳入圖片轉(zhuǎn)特征模塊變?yōu)樘卣餍畔ⅲ賯魅虢Y(jié)果模塊經(jīng)過改進(jìn)的小批量標(biāo)準(zhǔn)差方法層增加生成圖像的多樣性；得到的特征一部分用于判斷圖像的真假，一部分用于判斷圖像的類別；在生成器G的特征轉(zhuǎn)圖片模塊之前和判別器D的圖片轉(zhuǎn)特征模塊之后插入新模塊，以生成更高像素的圖像并提取圖像特征，最終生成器G生成高分辨率的圖像。該方法能夠訓(xùn)練多個無關(guān)聯(lián)的數(shù)據(jù)集，在類別不平衡或數(shù)據(jù)過于相似或不相似的數(shù)據(jù)集中均能產(chǎn)生高質(zhì)量的圖像。

【技術(shù)領(lǐng)域】

本發(fā)明涉及信息處理的技術(shù)領(lǐng)域，特別是一種基于漸進(jìn)式增長條件生成對抗網(wǎng)絡(luò)的圖像生成方法。

【背景技術(shù)】

生成模型是通過概率密度函數(shù)在數(shù)據(jù)分布上進(jìn)行數(shù)據(jù)抽樣并生成新樣本的模型，已經(jīng)被廣泛應(yīng)用于圖像生成、風(fēng)格遷移、機(jī)器翻譯和語音識別等領(lǐng)域。目前較流行的生成模型方法有變分自編碼器(Variational Auto-Encoder,VAE)、自回歸模型和生成對抗網(wǎng)絡(luò)(Generative Adversarial Networks,GAN)三大類。自回歸模型可以很好的對序列數(shù)據(jù)進(jìn)行密度估計，但計算量遠(yuǎn)大于VAE和GAN。VAE擅長于自然語言處理領(lǐng)域中的語言生成，但在圖像處理方面很難生成高清的圖像。GAN能產(chǎn)生高清的圖像，但訓(xùn)練過程很不穩(wěn)定?？偟膩碚f，在圖像生成領(lǐng)域，GAN的發(fā)展最迅速且應(yīng)用最廣泛。

GAN通常由生成器G和判別器D兩個模型組成：噪音通過G產(chǎn)生出新的樣本，如圖像，文本等；將真實(shí)樣本和生成器產(chǎn)生的樣本輸入D辨別真假。以上兩個模型都是可微的：G通過D判別產(chǎn)生的梯度來找到正確的樣本生成方向，D通過預(yù)測結(jié)果與樣本標(biāo)簽的對比來產(chǎn)生梯度，更新模型參數(shù)。GAN的訓(xùn)練過程極不穩(wěn)定，容易產(chǎn)生梯度消失和模式崩潰現(xiàn)象。DCGAN把卷積神經(jīng)網(wǎng)絡(luò)和GAN相結(jié)合，提出一套穩(wěn)定的GAN訓(xùn)練模型。LSGAN將判別器中的交叉熵?fù)p失函數(shù)變?yōu)樽钚《藫p失函數(shù)，使模型的訓(xùn)練過程更加穩(wěn)定。WGAN用Wasserstein距離代替了KL散度和JS散度來衡量生成分布和真實(shí)分布之間的距離，使得G的梯度計算更加精準(zhǔn)。還有一些針對WGAN的不足進(jìn)行改進(jìn)的模型，這些方法的提出使得GAN在訓(xùn)練上更為穩(wěn)定。

條件生成對抗網(wǎng)絡(luò)(Conditional GAN,CGAN)是在無監(jiān)督的GAN模型中加入條件信息，使得GAN能夠準(zhǔn)確地在一個模型中同時訓(xùn)練和生成多種類別的樣本和圖像。注入條件的方式多種多樣，ICGAN，InfoGAN和ACGAN等方法是G的輸入端對樣本和條件信息進(jìn)行特征變換，并在D的輸出端利用目標(biāo)函數(shù)來改進(jìn)CGAN；半監(jiān)督和自監(jiān)督的CGAN通過在D內(nèi)部加入額外的聚類器來增加條件信息，然后將結(jié)果信息返回給G。

漸進(jìn)式增長生成對抗網(wǎng)絡(luò)(Progressive Growing of GAN,PGGAN)是一種網(wǎng)絡(luò)結(jié)構(gòu)逐步增長的生成模型，該模型先訓(xùn)練生成低像素的圖像，然后不斷地在G和D中插入對稱的網(wǎng)絡(luò)結(jié)構(gòu)來提高生成圖像的分辨率，并通過平滑過渡來緩減直接插入網(wǎng)絡(luò)結(jié)構(gòu)導(dǎo)致的模型震蕩。當(dāng)訓(xùn)練樣本中類別數(shù)據(jù)不平衡或數(shù)據(jù)樣本間過于相似或不相似時，PGGAN模型容易出現(xiàn)模式崩潰現(xiàn)象，使得生成圖像的質(zhì)量下降。

【發(fā)明內(nèi)容】

本發(fā)明的目的就是解決現(xiàn)有技術(shù)中的問題，提出一種基于漸進(jìn)式增長條件生成對抗網(wǎng)絡(luò)的圖像生成方法，能夠訓(xùn)練多個無關(guān)聯(lián)的數(shù)據(jù)集而不崩潰，生成的圖像具有更高的多樣性和真實(shí)性，在類別不平衡或數(shù)據(jù)過于相似或不相似的數(shù)據(jù)集中均能產(chǎn)生高質(zhì)量的圖像。

為實(shí)現(xiàn)上述目的，本發(fā)明提出了一種基于漸進(jìn)式增長條件生成對抗網(wǎng)絡(luò)的圖像生成方法，該方法的實(shí)現(xiàn)基于PGGAN模型，所述PGGAN模型的網(wǎng)絡(luò)結(jié)構(gòu)包括生成器G和判別器D，該方法具體包括以下步驟：

S1.噪聲和類別標(biāo)簽被傳入生成器G的初始模塊中生成低像素圖像的特征，然后經(jīng)過特征轉(zhuǎn)圖片模塊轉(zhuǎn)為圖像輸出；