[發(fā)明專利]用對抗性學(xué)習(xí)和判別性學(xué)習(xí)來遷移生成式對抗網(wǎng)絡(luò)的方法

有效

• 申請?zhí)枺?/td>: 202110534134.1
• 申請日: 2021-05-17
• 公開（公告）號: CN113361566B
• 公開（公告）日: 2022-11-15
• 發(fā)明（設(shè)計(jì)）人: 李陽;王宇陽;文敦偉;常佳樂
• 申請（專利權(quán)）人: 長春工業(yè)大學(xué)
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 長春市東師專利事務(wù)所 22202
• 代理人: 張鐵生;劉瑩

本發(fā)明公開了用對抗性學(xué)習(xí)和判別性學(xué)習(xí)來遷移生成式對抗網(wǎng)絡(luò)的方法，它包括：S1.準(zhǔn)備圖片數(shù)據(jù)集；S2.構(gòu)建預(yù)訓(xùn)練GAN模型；S3.通過參數(shù)遷移構(gòu)建ADT?GAN模型；S4.訓(xùn)練ADT?GANc。上述ADT?GAN模型利用遷移學(xué)習(xí)，在源域圖像數(shù)據(jù)集訓(xùn)練的預(yù)訓(xùn)練GAN模型的基礎(chǔ)上通過參數(shù)傳遞，初始化生成器和判別器。添加域判別器，通過優(yōu)化由對抗目標(biāo)函數(shù)和域判別目標(biāo)函數(shù)組成的總目標(biāo)函數(shù)，來驅(qū)動(dòng)生成器生成目標(biāo)域的圖像數(shù)據(jù)，并避免負(fù)遷移。從而提高在小型目標(biāo)域數(shù)據(jù)集上的訓(xùn)練性能，減少迭代次數(shù)，提高圖像生成質(zhì)量。

技術(shù)領(lǐng)域

本發(fā)明屬于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，具體涉及用對抗性學(xué)習(xí)和判別性學(xué)習(xí)來遷移生成式對抗網(wǎng)絡(luò)的方法。

背景技術(shù)

生成式對抗網(wǎng)絡(luò)（GANs是一種深層的模型，已經(jīng)引起了廣泛的關(guān)注，并且在許多領(lǐng)域中使用GAN的需求也在增長。像其他深度神經(jīng)網(wǎng)絡(luò)一樣，GAN具有很高的計(jì)算需求，需要在大型數(shù)據(jù)集上進(jìn)行訓(xùn)練，而在小型訓(xùn)練數(shù)據(jù)集上快速有效地訓(xùn)練 GAN，并生成有效的樣本，這成為一個(gè)特別重要且具有挑戰(zhàn)性的研究問題。

遷移學(xué)習(xí)它旨在通過轉(zhuǎn)移包含在不同但相關(guān)的源域中的知識(shí)來提高目標(biāo)域中目標(biāo)學(xué)習(xí)者的表現(xiàn)。遷移學(xué)習(xí)已與GAN 一起使用，主要側(cè)重于圖像到圖像的翻譯和領(lǐng)域適應(yīng)。圖像到圖像轉(zhuǎn)換將圖像從一個(gè)域轉(zhuǎn)換到另一個(gè)域，并且輸入和輸出都是圖像。域自適應(yīng)的目的是將不同但相似的域（例如源域和目標(biāo)域）的數(shù)據(jù)映射到相同的特征空間中，以提高目標(biāo)域中分類模型的性能。以上兩個(gè)類別利用了從源領(lǐng)域?qū)W到的知識(shí)或表示，并且對抗學(xué)習(xí)的機(jī)制可以集成到遷移學(xué)習(xí)方法中。但是，對抗學(xué)習(xí)的目的是訓(xùn)練網(wǎng)絡(luò)，使其無法區(qū)分從源域提取的特征和從目標(biāo)域提取的特征，這與GAN中的對抗學(xué)習(xí)的目的不 同。GAN 中對抗性學(xué)習(xí)的目的是訓(xùn)練網(wǎng)絡(luò)，使其無法在同一域中將真實(shí)樣本與生成的樣本區(qū)分開。因此，以上兩種方法均不支持在傳遞在源域中學(xué)習(xí)到的知識(shí)后通過在目標(biāo)域中輸入隨機(jī)噪聲來直接生成樣本。

為了解決上述問題，本發(fā)明提出了一種新的 GAN 框架：用對抗性學(xué)習(xí)和判別性學(xué)習(xí)來遷移生成式對抗網(wǎng)絡(luò)（ADT-GAN）。ADT-GAN可以支持將用源域的數(shù)據(jù)集訓(xùn)練的GAN 轉(zhuǎn)移到相關(guān)的目標(biāo)域，以對目標(biāo)數(shù)據(jù)集進(jìn)行進(jìn)一步的訓(xùn)練，從而訓(xùn)練生成器以生成目標(biāo)域的樣本。首先，使用源域的訓(xùn)練數(shù)據(jù)集 對GAN模型進(jìn)行預(yù)訓(xùn)練，并通過參數(shù)傳遞來初始 化ADT-GAN的生成器和判別器，然后對目標(biāo)域的 數(shù)據(jù)集進(jìn)行訓(xùn)練。同時(shí)，為了避免負(fù)遷移問題，采用了額外的域判別器來鼓勵(lì)生成與目標(biāo)域而不是源域具有相同分布的樣本。

發(fā)明內(nèi)容

本發(fā)明的目的在于解決生成對抗網(wǎng)絡(luò)難以在小數(shù)據(jù)量的目標(biāo)域圖片數(shù)據(jù)集進(jìn)行有效快速地訓(xùn)練的問題，而提出了用對抗性學(xué)習(xí)和判別性學(xué)習(xí)來遷移生成式對抗網(wǎng)絡(luò)的方法。

用對抗性學(xué)習(xí)和判別性學(xué)習(xí)來遷移生成式對抗網(wǎng)絡(luò)的方法，它包括：

S1. 準(zhǔn)備圖片數(shù)據(jù)集

1)將圖片數(shù)據(jù)集分割為源域數(shù)據(jù)集和目標(biāo)域數(shù)據(jù)集；

2)將數(shù)據(jù)集中的圖片標(biāo)準(zhǔn)化到相同的分辨率；

S2. 構(gòu)建預(yù)訓(xùn)練GAN模型

預(yù)訓(xùn)練GAN 模型為深度卷積生成對抗網(wǎng)絡(luò)，它包括：生成器G以及判別器D；

S3. 通過參數(shù)遷移構(gòu)建ADT-GAN模型

ADT-GAN模型，它包括生成器G_ω，判別器D_θ，以及域判別器C_μ；