[發明專利]一種生成式對抗網絡建模方法及裝置

在審

• 申請號: 201810031539.1
• 申請日: 2018-01-12
• 公開（公告）號: CN108197700A
• 公開（公告）日: 2018-06-22
• 發明（設計）人: 李利蘋;李立軍;朱湘軍;彭永堅;汪壯雄;周智恒;胥靜
• 申請（專利權）人: 廣州視聲智能科技有限公司;廣州視聲智能股份有限公司;華南理工大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06K9/62
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張春水;唐京橋

本發明實施例公開了一種生成式對抗網絡建模方法及裝置，其中，該方法包括：S1：通過殘差網絡構建生成器和判別器；S2：向所述生成器輸入噪聲生成訓練圖像，將所述生成器的淺層神經網絡的梯度疊加至所述生成器的深層神經網絡中，得到疊加梯度后的生成器；S3：將所述訓練圖像輸入所述判別器進行判別，得到沃瑟斯坦距離，再在所述判別器對所述訓練圖像進行卷積操作后，得到損失函數，并將所述損失函數反饋至疊加梯度后的所述生成器；S4：判斷所述沃瑟斯坦距離是否小于預置距離值，若不小于，則重新執行S2，若小于，則結束。

技術領域

本發明涉及深度學習神經網絡技術領域，尤其涉及一種生成式對抗網絡建模方法及裝置。

背景技術

生成式對抗網絡(Generative Adversarial Network，GAN)是由Goodfellow在2014年提出的深度學習框架，它基于“博弈論”的思想，構造生成器(generator)和判別器(discriminator)兩種模型，前者通過輸入(0，1)的均勻噪聲或高斯隨機噪聲生成圖像，后者對輸入的圖像進行判別，確定是來自數據集的圖像還是由生成器產生的圖像。

在傳統的對抗網絡模型中，卷積神經網絡的梯度是逐層向深層傳遞的，在訓練的過程中，梯度會隨著卷積神經網絡的深入而逐漸變小甚至消失，這種情況導致的結果是網絡訓練的效率低下。

因此，當前生成式對抗網絡模型訓練過程中，隨著卷積神經網絡的深入梯度會逐漸變小導致網絡訓練效率低下成為本領域技術人員亟待解決的技術問題。

發明內容

本發明實施例提供了一種生成式對抗網絡建模方法及裝置，解決了當前生成式對抗網絡模型訓練過程中，隨著卷積神經網絡的深入梯度會逐漸變小導致網絡訓練效率低下的技術問題。

本發明實施例提供了一種生成式對抗網絡建模方法，包括：

S1：通過殘差網絡構建生成器和判別器；

S2：向所述生成器輸入噪聲生成訓練圖像，將所述生成器的淺層神經網絡的梯度疊加至所述生成器的深層神經網絡中，得到疊加梯度后的生成器；

S3：將所述訓練圖像輸入所述判別器進行判別，得到沃瑟斯坦距離，再在所述判別器對所述訓練圖像進行卷積操作后，得到損失函數，并將所述損失函數反饋至疊加梯度后的所述生成器；

S4：判斷所述沃瑟斯坦距離是否小于預置距離值，若不小于，則重新執行S2，若小于，則結束。

優選地，步驟S2具體為：

向所述生成器輸入噪聲生成訓練圖像，獲取到所述生成器的淺層神經網絡的梯度，通過預置公式將所述生成器的淺層神經網絡的梯度疊加至所述生成器的深層神經網絡的梯度上，得到疊加梯度后的生成器；

其中，所述預置公式為：

z＝Relu(x+y)

式中，z為疊加后的梯度，x為淺層神經網絡的梯度，y為深層神經網絡的梯度，Relu為激活函數，當x＞0時，f(x)＝x，當x＜0時，f(x)＝0。

優選地，所述噪聲為隨機噪聲。

優選地，步驟S3具體為：

將所述訓練圖像輸入所述判別器進行判別，得到判別結果和沃瑟斯坦距離，再在所述判別器對所述訓練圖像進行卷積操作后，且在所述判別器根據所述判別結果和卷積后的訓練圖像的分布生成損失函數后，將所述損失函數反饋至疊加梯度后的所述生成器；

其中，所述損失函數的表達式為：

式中，D(x)為判別器對訓練圖像的判別結果，pr表示預置數據集圖像的分布，pg表示卷積后的訓練圖像的分布，λ為超參數，為梯度。