[發明專利]學習生成用于訓練神經網絡的合成數據集

在審

• 申請號: 201980074940.6
• 申請日: 2019-11-15
• 公開（公告）號: CN113039563A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: A·卡爾;A·普拉卡什;劉洺堉;D·J·阿庫納·馬雷羅;A·T·巴留索;S·菲德勒
• 申請（專利權）人: 輝達公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06T11/60;G06N20/20;G06F16/901;G06T7/00
• 代理公司: 北京市磐華律師事務所 11336
• 代理人: 高偉

在各種示例中，生成模型用于合成數據集，以用于訓練下游機器學習模型來執行相關任務。可以通過從場景語法(諸如概率語法)中采樣場景圖并將所述場景圖應用于所述生成模型來計算更代表真實世界數據集的對象屬性分布的更新場景圖以生成所述合成數據集。所述下游機器學習模型可以針對真實世界的驗證數據集進行驗證，并且所述模型在所述真實世界驗證數據集上的性能可以用作進一步訓練或微調所述生成模型的附加因素，用于生成特定于所述下游機器學習模型所述任務的所述合成數據集。

背景技術

數據收集和標記是一項費力、昂貴且耗時的任務，需要無數的人力和計算資源。然而，機器學習模型(諸如神經網絡)需要大量數據和相應的地面實況信息，以便在部署之前進行有效的訓練。結果，模型訓練的數據收集和標記部分成為大多數機器學習管線中的重大瓶頸。

為了解決這個問題，合成數據生成已經顯現為生成更大數量的地面實況信息的解決方案——例如，使用圖形引擎。用于合成數據創建的一些常規方法需要有資格的專家來創建虛擬世界，并從該虛擬世界中采樣合成數據。然而，手動創建虛擬世界的過程與手動標記真實世界數據一樣是一項艱巨的任務。代替以這種方式創建虛擬世界，一些常規方法使用域隨機化(DR)作為照片真實感環境模擬的廉價替代方案。DR技術通過將對象插入隨機位置和姿勢的環境中，來生成大量多樣的場景——然而，這種隨機性通常會導致創建與真實世界場景的代理非常不同并且不是最佳的環境。

其他常規方法旨在解決合成環境與真實世界環境之間的領域差距，諸如生成比現有解決方案更接近真實世界外觀的合成數據。此類方法使用生成式對抗網絡(GAN)以將合成數據的外觀變換為更類似于真實世界的數據——但是這些方法仍無法解決與真實世界環境匹配的合成環境的不足。例如，模擬環境中對象的屬性(諸如位置、姿勢、顏色、紋理、形狀、大小等)不能反映真實環境中相似對象的屬性。

發明內容

本公開的實施例涉及生成用于訓練神經網絡的合成數據集。公開了使用生成模型(諸如圖形卷積網絡(GCN))將從場景語法中采樣的初始場景圖變換成變換的場景圖的系統和方法，所述變換的場景圖具有相對于初始場景圖的屬性更新的屬性。

可以訓練生成模型，以計算變換的場景圖，使得對應屬性的分布更接近地反映真實世界環境或場景的分布。此外，使用變換的場景圖生成的合成數據集和相應的地面實況，可用于訓練下游任務網絡，并且可利用在真實世界驗證數據集上的下游任務網絡的性能，來進一步訓練和微調生成模型。結果，所述生成模型不僅可以預測可用于渲染更多合成數據集的變換的場景圖，而且還可以對合成數據集進行調整，以更有效地訓練下游任務網絡用于其相應任務。

因此，生成模型有助于彌合合成數據和真實世界數據之間先前存在的內容差距。結果，作為非限制性示例，其中常規方法可生成合成場景，所述合成場景包括照片般逼真的車輛、行人、建筑物和/或以不真實的方式分布的其他對象(例如，垂直于道路行駛方向的車輛、比實際環境中的人行道寬的人行道、靠得太近的行人等)，本公開的技術允許這些合成場景不僅包括照片般逼真的渲染，而且還包括以更真實、真實世界的類似方式分布的對象。因此，除了彌合先前方法所關注的領域差距之外，當前方法還彌合了內容差距，因此產生了照片般逼真的環境，所述環境可以模擬真實世界的場景，其具有使得下游任務網絡能夠在這些合成數據集上進行訓練的準確性，同時，將其部署為使用真實世界數據在真實世界應用中使用。

附圖說明

下面參考附圖詳細描述用于學習生成用于訓練神經網絡的合成數據集的本系統和方法，其中：

圖1是示出了根據本公開的一些實施例的用于訓練分布變換器模型以生成用于訓練下游任務網絡的合成數據集的過程的數據流程圖；

圖2A是示出了根據本公開的一些實施例的用于預訓練分布變換器模型的過程的示例說明；

圖2B是示出了根據本公開的一些實施例的用于使用真實世界數據的分布與合成數據的分布之間的差異來訓練分布變換器模型的過程的示例說明；