[發明專利]訓練類條件生成對抗序列網絡

在審

• 申請號: 202010940591.6
• 申請日: 2020-09-09
• 公開（公告）號: CN112560886A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 張丹;A·霍列娃
• 申請（專利權）人: 羅伯特·博世有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00;G06N3/08;B60W60/00
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 張凌苗;陳嵐

訓練類條件生成對抗序列網絡。描述了一種用于訓練類條件生成對抗網絡（GAN）的計算機實現的方法和系統。使用分類損失函數訓練鑒別器，而省略使用對抗損失函數。取而代之地，如果訓練數據具有C個類，則分類損失函數可以被表述為2C類分類問題，通過所述2C類分類問題，鑒別器被訓練為對C個類區分2次。示出了，這樣的經訓練的鑒別器為生成器提供信息性訓練信號，以通過生成器學習類條件數據合成。此外，描述了一種用于使用經訓練的生成對抗網絡的生成部分來合成數據的數據合成系統和計算機實現的方法。

技術領域

本發明涉及用于訓練生成對抗網絡的計算機實現的方法和系統。本發明進一步涉及用于使用經訓練的生成對抗網絡的生成模型例如用于數據合成、異常檢測和/或用于缺失數據插補的計算機實現的方法和系統。本發明進一步涉及至少包括經訓練的生成對抗網絡的生成模型的計算機可讀介質，并且涉及包括表示指令的數據的計算機可讀介質，所述指令被布置成使得處理器系統執行至少一個計算機實現的方法。

背景技術

生成對抗網絡（GAN）已由Ian Goodfellow等人在2014年引入[1]。在他們的論文中，提出了一種用于經由對抗網絡估計生成模型的框架，其中兩個模型被同時訓練：捕獲要學習的數據分布的生成模型，以及估計輸入實例是從訓練數據（輸入是“真實的”）而不是從生成模型（輸入是“虛假的”）獲得的概率的鑒別模型。在下文中，生成模型也可以被稱為“生成器”或簡稱為“G”，并且鑒別模型也可以被稱為“鑒別器”或簡稱為“D”。

最近的研究已示出，這樣的經訓練的生成對抗網絡的生成模型特別是當使用深度生成模型、諸如所謂的“深度”卷積神經網絡時，能夠以高分辨率和以足夠的質量合成看起來自然的圖像，以欺騙甚至人類觀察者。

還存在經訓練的GAN、并且具體為經訓練的GAN的經訓練的生成模型的許多其他真實世界應用，所述真實世界應用范圍從異常檢測、用于另一機器可學習模型的機器學習的合成數據生成到例如用于修補被遮擋的圖像區域之類的缺失數據插補。

例如，在自主駕駛領域中，經訓練的GAN可以用于生成用于自主駕駛的“極端用例”場景，例如，表示近碰撞的合成圖像，其可以用于測試和驗證自主駕駛算法和系統在這樣的場景中的性能。在特定示例中，合成圖像可以用于訓練諸如神經網絡之類的機器可學習模型，所述機器可學習模型可以用作控制自主車輛的轉向和/或制動的系統的部分。

GAN的訓練通常牽涉到以下內容。生成模型G可以被配置為從來自潛在空間的有噪樣本（“潛在向量”）生成合成輸出實例。鑒別模型D可以被訓練為在源自生成模型G的輸入實例與訓練數據之間進行鑒別。生成模型G可以被訓練為從有噪樣本生成合成輸出實例，當鑒別模型D被應用于合成輸出實例時，所述有噪樣本使鑒別誤差最大化。訓練的每次迭代可以牽涉到通過更新相應模型的權重、例如通過經由反向傳播計算梯度，來交替地訓練鑒別模型D和生成模型G。

GAN可以被訓練為合成特定類內的數據。例如，GAN可以被訓練為合成諸如狗、貓等寵物的圖像，其中“狗”、“貓”等各自表示類標簽（的語義表示）。這里，術語“標簽”可以指代類的標識符，所述類的標識符通常可以是數字標識符，但是其在下文中也可以用其語義解釋來指代。這樣的基于類的數據合成也可以被稱為“類條件”或“標簽條件”數據合成，而這樣的GAN可以被稱為類條件或標簽條件GAN，其中兩個術語在下文中可互換使用。類條件GAN的示例從出版物[2]-[5]中已知，并且可以在許多情況下提供在未經類條件訓練的GAN之上的某些優勢。例如，監督式學習可能要求標記的數據，所述標記的數據可以由經訓練的類條件GAN生成為GAN的輸入目標類及其合成輸出的組合。