[發明專利]一種基于生成對抗網絡使用感知損失解決模型崩塌的方法

有效

• 申請號: 201811310962.1
• 申請日: 2018-11-06
• 公開（公告）號: CN109409508B
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 李孝杰;伍賢宇;馮詩皓;史滄紅;羅超;張憲;劉書樵;李俊良
• 申請（專利權）人: 成都信息工程大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06T5/00;G06T11/00
• 代理公司: 北京元本知識產權代理事務所(普通合伙) 11308
• 代理人: 常桑

本發明屬于圖像重建技術領域，公開了一種基于生成對抗網絡使用感知損失解決模型崩塌的方法，利用隨機向量z生成與實際數據分布相似的圖像，在訓練的過程中采用感知損失將z和真實數據映射到特征空間中來提取更高層次的特征，并結合對抗損失來鼓勵生成網絡產生與實際圖像相似的圖像樣本；最后，使得鑒別器不能判斷這是一個虛假圖像。本發明針對已有網絡采用較小的數據集解決了模型崩塌問題，VGG?GAN在兩個小場景數據集上進行評價；實驗結果表明，用VGG?GAN方法生成的圖像質量優于現有方法。

技術領域

本發明屬于圖像重建技術領域，尤其涉及一種基于生成對抗網絡使用感知損失解決模型崩塌的方法。具體涉及一種基于生成對抗網絡使用感知損失解決模型崩塌的方法VGG-GAN。

背景技術

目前，業內常用的現有技術是這樣的：

傳統生成對抗網絡GAN有生成器網絡和鑒別器網絡組成。訓練GAN使生成器網絡和鑒別器網絡相互競爭達到最優的過程，即達到納什均衡。然而，目前并沒有一個明確的方法來確定GAN網絡是否已經進入納什平衡。該問題是一個高維非凸優化目標。網絡試圖在下一步中最小化非凸優化目標，這最終可能導致振蕩，而不是收斂到底層的真實目標。只要一個生成器和鑒別器不再改變，任何一方不會進一步改進。從梯度下降開始，選擇一個可微的損失函數，并最小化它。

GAN應用廣泛，但存在訓練不穩定、梯度消失、模型崩潰等問題。例如，當GAN訓練不穩定時，實驗的結果會很差，即使訓練增加訓練的時間也不會讓最終的結果改進。眾所周知，最優的D旨在最大化真實數據分布與生成的樣本分布之間的Jensen-Shannon(JS)偏差。理論上，高維空間中兩個分布之間的JS距離的最大概率是常數。當優化的目標是常數時，對于最優鑒別器，生成器不能得到任何的梯度信息。即使對于接近最優的鑒別器，生成器也有很大的可能來面對梯度消失的問題。模型崩潰被稱為GAN網絡中最重要的失敗模式。生成器重復產生完全相同的圖像，本發明稱之為模式崩潰。一般來說，現實世界的數據分布是高度復雜和多模態的。數據描述的概率分布具有多重性。由不同的子組樣本集中。生成器崩塌到一個非常狹窄的分布，并導致生成的樣本不再改變。這顯然違反了GAN的本質。

此外，模式崩塌的嚴重程度因完全崩塌而不同。在現實中，生成的樣本幾乎是相同的部分崩塌(大多數樣本都具有一些共同屬性)。為了解決圖像生成中的模型崩塌問題，基于GAN框架提出了使用權重削減的新算法WGAN。WGAN采用大型場景LSUN臥室數據集(數量為3033042)來表現出色的視覺效果，證明了該方法的有效性。

綜上所述，現有技術存在的問題是：

(1)目前并沒有一個明確的方法來確定GAN網絡是否已經進入納什平衡；

(2)GAN應用廣泛，但存在訓練不穩定、梯度消失、模型崩潰等問題，實驗的結果會很差，即使訓練增加訓練的時間也不會讓最終的結果改進；

(3)現有技術中，使用大場景數據集(例如LSUN，CelebA)，并且最終結果呈現良好的視覺效果。然而，當訓練數據是一個小場景數據集時，實驗結果會產生模式崩塌；導致了生成樣本失去多樣性。

解決上述技術問題的意義：

本發明的VGG-GAN有兩個優點：

第一，解決了在小場景數據集下的模式崩潰問題，保證生成樣本的多樣性。

第二，VGG-GAN網絡收斂速度快，并且穩定。

發明內容

針對現有技術存在的問題，本發明提供了一種基于生成對抗網絡使用感知損失解決模型崩塌的方法。

本發明是這樣實現的，一種基于生成對抗網絡使用感知損失解決模型崩塌的方法，包括以下步驟：

輸入待訓練的圖像I；