[發(fā)明專利]用于訓練擴增鑒別器的設備和方法

在審

• 申請?zhí)枺?/td>: 201980060432.2
• 申請日: 2019-08-13
• 公開（公告）號: CN112673384A
• 公開（公告）日: 2021-04-16
• 發(fā)明（設計）人: 張丹;A·霍列娃
• 申請（專利權(quán)）人: 羅伯特·博世有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 劉書航;周學斌

一種用于訓練擴增鑒別器（AD）和生成器（G）的計算機實現(xiàn)的方法，包括以下步驟：提供包括現(xiàn)實訓練樣本（）和人工訓練樣本（）的訓練集，用于訓練擴增鑒別器（AD），其中人工訓練樣本（）由生成器（G）生成；?向訓練集的至少一個數(shù)據(jù)樣本（x）分派數(shù)據(jù)序列（s）；?其中數(shù)據(jù)樣本（x）和分派的數(shù)據(jù)序列（s）的每個對（x，s）被分派給多個類中的一個，使得一并考慮的多個類中的分派的一個類和分派的數(shù)據(jù)序列（s）表征數(shù)據(jù)樣本（x）是現(xiàn)實訓練樣本（）還是人工訓練樣本（）；和?訓練擴增鑒別器（AD）能夠從對（x，s）中計算。

本發(fā)明涉及用于訓練擴增鑒別器的方法和系統(tǒng)，以及機器可讀存儲介質(zhì)。

現(xiàn)有技術(shù)

生成性對抗網(wǎng)絡或稱“GAN”從Goodfellow等人的“Generative AdversarialNetworks” arXiv預印本已知。

本發(fā)明的優(yōu)點

具有獨立權(quán)利要求1的步驟的方法具有實現(xiàn)更強大的生成性對抗網(wǎng)絡生成器的優(yōu)點，從而也提供了已經(jīng)在生成性對抗網(wǎng)絡中訓練的更強大的鑒別器。

發(fā)明內(nèi)容

在機器學習中，數(shù)據(jù)對于訓練機器學習系統(tǒng)很重要，但同時，用于訓練的現(xiàn)實數(shù)據(jù)可能是一種稀缺資源。生成性建模可以以各種方式幫助豐富數(shù)據(jù)集，諸如合成數(shù)據(jù)生成、數(shù)據(jù)擴增和遷移學習。由于現(xiàn)實問題經(jīng)常需要對高維概率分布建模，因此生成性建模仍然是具有挑戰(zhàn)性的研究問題。

生成性對抗網(wǎng)絡是最成功的建模方法之一。GAN背后的核心思想是為兩個玩家建立競爭游戲，這兩個玩家通常稱為鑒別器（D）和生成器（G）。生成器努力創(chuàng)建樣本，所述樣本應來自與訓練數(shù)據(jù)相同的分布。相反，鑒別器的目的是為了將它們區(qū)分開。

從數(shù)學上講，D和G的目標可以表述為min-max問題：

其中代表將實值函數(shù)D（x）映射到單位區(qū)間[0，1]的sigmoid函數(shù)。是由生成器G支配的生成性分布。鑒別器D解決了兩類分類任務，其中這兩類分別與和相關聯(lián)。生成器G試圖欺騙D。當雙玩家博弈達到納什均衡時，可以示出所獲得的生成性分布必須與相同。

考慮到易處理性問題，直接在函數(shù)空間中優(yōu)化G和D是不現(xiàn)實的，盡管這在理論上是最優(yōu)的。方便地，D和G可以采取深度神經(jīng)網(wǎng)絡來參數(shù)化它們的功能，例如，DCGAN（例如參見“Unsupervised Representation Learning with Deep Convolutional GenerativeAdversarial Networks”，arXiv預印本arXiv：1511.06434v2，2016，Alec radford，LukeMetz，Soumith Chintala）。

更進一步地，在大多數(shù)情況下，用于G的神經(jīng)網(wǎng)絡顯式地對遵循而不是的采樣器進行建模。采樣器將隨機噪聲向量z作為其輸入，并應用變換G來獲得合成樣本= G（z）。z和G的先驗分布共同定義了。

隨機梯度下降（SGD）方法通常被應用于求解min-max問題。G和D的神經(jīng)網(wǎng)絡參數(shù)交替且迭代地更新，直到收斂或滿足某個停止準則。要注意的是，這樣的訓練處理不存在收斂或其收斂到期望的納什均衡的保證。出于該理由，GAN的性能因應用而異，并且示出了對訓練初始化、網(wǎng)絡架構(gòu)和超參數(shù)選擇的敏感。簡而言之，訓練GAN是具有挑戰(zhàn)性的任務。

GAN潛在失敗的一個根本原因出自于代價函數(shù)的公式，特別是當與SGD方法進行組合來優(yōu)化時。當鑒別器D為次優(yōu)時，代價函數(shù)從不飽和。當D達到最好時，即，當D對于給定的G被很好地優(yōu)化，并且能夠可靠地從由G生成的合成樣本鑒別中出現(xiàn)實樣本時，用于進一步更新G的梯度消失。最終，min-max博弈未能達到期望的最優(yōu)。還重要的是注意，和的支撐相應地駐留在低維流形上。由于在現(xiàn)實問題中，兩個流形不太可能重疊或完美地對準，因此使D達到最好幾乎是微不足道的。所以，在GAN訓練的過程期間，強大的D危害到G的學習處理。另一方面，弱的D通過有意地選取過于簡化的神經(jīng)網(wǎng)絡而無法為G提供正確的反饋來學習真值。