[發(fā)明專利]生成對(duì)抗網(wǎng)絡(luò)、訓(xùn)練方法、計(jì)算機(jī)程序、存儲(chǔ)介質(zhì)和設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202010440840.5
• 申請(qǐng)日: 2020-05-22
• 公開(kāi)（公告）號(hào): CN111985638A
• 公開(kāi)（公告）日: 2020-11-24
• 發(fā)明（設(shè)計(jì)）人: D.泰爾耶克
• 申請(qǐng)（專利權(quán)）人: 羅伯特·博世有限公司
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08
• 代理公司: 中國(guó)專利代理(香港)有限公司 72001
• 代理人: 臧永杰;劉春元

本發(fā)明涉及生成對(duì)抗網(wǎng)絡(luò)、訓(xùn)練方法、計(jì)算機(jī)程序、存儲(chǔ)介質(zhì)和設(shè)備。用于訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)（100）、尤其是Wasserstein生成對(duì)抗網(wǎng)絡(luò)的方法（200），其中生成對(duì)抗網(wǎng)絡(luò)（100）具有生成器（110）和判別器（120），其中生成器（110）和判別器（120）是人工神經(jīng)網(wǎng)絡(luò)，具有步驟：訓(xùn)練（201）判別器（120），其中在訓(xùn)練（201）判別器（120）的步驟中，根據(jù)損失函數(shù)適配判別器（120）的參數(shù)，其中損失函數(shù)（125）包括根據(jù)第一輸入數(shù)據(jù)和第二輸入數(shù)據(jù)以及根據(jù)在處理第一輸入數(shù)據(jù)時(shí)判別器（120）的第一輸出以及在處理第二輸入數(shù)據(jù)時(shí)判別器（120）的第二輸出代表對(duì)Lipschitz條件（126）的違反的項(xiàng)，其中以第一輸入數(shù)據(jù)為出發(fā)點(diǎn)借助于應(yīng)用虛擬對(duì)抗訓(xùn)練（116）的方法創(chuàng)建第二輸入數(shù)據(jù)（116）。

技術(shù)領(lǐng)域

本發(fā)明涉及一種用于訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)（GAN，德語(yǔ)：“erzeugendewiderstreitende Netzwerke（生成式對(duì)抗網(wǎng)絡(luò)）”）的方法、生成對(duì)抗網(wǎng)絡(luò)、計(jì)算機(jī)程序、機(jī)器可讀存儲(chǔ)介質(zhì)和設(shè)備。

背景技術(shù)

生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network, GAN，德語(yǔ)：“erzeugendewiderstreitende Netzwerke（生成式對(duì)抗網(wǎng)絡(luò)）”）是無(wú)監(jiān)督機(jī)器學(xué)習(xí)的方法。GAN包括兩個(gè)人工神經(jīng)網(wǎng)絡(luò)：生成器（Generator）和判別器（Diskriminator）。

生成器典型地獲得隨機(jī)噪聲作為輸入。大多數(shù)以期望值0和方差1正態(tài)分布（normalverteilt）。生成器被設(shè)置用于以能夠與預(yù)先給定的格式對(duì)應(yīng)或分配給預(yù)先給定的域（Dom?ne）的格式產(chǎn)生輸出。

判別器被設(shè)置為使得所述判別器可以在真實(shí)或原始數(shù)據(jù)與所產(chǎn)生的數(shù)據(jù)之間進(jìn)行區(qū)分。其中訓(xùn)練生成器所借助的那些數(shù)據(jù)被視為真實(shí)數(shù)據(jù)。通過(guò)生成器產(chǎn)生的那些數(shù)據(jù)被視為所產(chǎn)生的數(shù)據(jù)。

在輸入所產(chǎn)生的數(shù)據(jù)情況下判別器的輸出被用作用于生成器的訓(xùn)練信號(hào)。在此，目的是訓(xùn)練生成器，使得使所述生成器有可能產(chǎn)生以下數(shù)據(jù)：即所述數(shù)據(jù)不再被判別器識(shí)別為所產(chǎn)生的數(shù)據(jù)（并且因此被錯(cuò)誤地分類為真實(shí)或原始數(shù)據(jù)）。

從Ishaan Gulrajani，F(xiàn)aruk Ahmed，Martin Arjovsky，Vincent Dumoulin，AaronCourville的“Improved Training of Wasserstein GANs”中已知所謂的Wasserstein GAN（WGAN）。所述Wasserstein GAN基于最優(yōu)運(yùn)輸?shù)睦碚摚⑶沂顷P(guān)于通過(guò)GAN產(chǎn)生的結(jié)果（樣本）的質(zhì)量和學(xué)習(xí)穩(wěn)定性的現(xiàn)有技術(shù)。

Wasserstein GAN（WGAN）在多個(gè)點(diǎn)上與標(biāo)準(zhǔn)GAN（SGAN）不同。與SGAN不同地，WGAN的人工神經(jīng)網(wǎng)絡(luò)的輸出層不包括非線性。在SGAN情況下，輸出層大多數(shù)包括S型（Sigmoide）函數(shù)。這意味著，即使判別器已被訓(xùn)練得接近于最優(yōu)值，所述判別器輸出的梯度也從不轉(zhuǎn)入飽和。

在Takeru Miyato, Shin-ichi Maeda, Masanori Koyama, Shin Ishii的“Virtual Adversarial Training: A Regularization Method for Supervised andSemi-Supervised Learning”中描述了用于訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的對(duì)于半監(jiān)督機(jī)器學(xué)習(xí)領(lǐng)域已知的方法、即虛擬對(duì)抗訓(xùn)練（Virtual Adversarial Training, VAT）。該方法基于：改變給定的輸入數(shù)據(jù)（Eingabedatum），使得應(yīng)用于此的人工神經(jīng)網(wǎng)絡(luò)的輸出強(qiáng)烈地或最強(qiáng)烈地變化。與原始（換句話說(shuō)未改變的）輸入數(shù)據(jù)的輸出相比，變化在此按已改變的輸入數(shù)據(jù)的輸出而定。在該方法的范圍中，可以確定或近似（ann?hern）輸入數(shù)據(jù)變化的相應(yīng)方向，所述方向引起輸出的所期望的強(qiáng)烈或最強(qiáng)烈的變化。該方向以概念對(duì)抗擾動(dòng)方向（AdversarialPertubation Direction）或?qū)狗较颍ˋdversarial Direction）而聞名。