[發(fā)明專利]學習生成用于訓練神經網絡的合成數(shù)據(jù)集

在審

• 申請?zhí)枺?/td>: 201980074940.6
• 申請日: 2019-11-15
• 公開（公告）號: CN113039563A
• 公開（公告）日: 2021-06-25
• 發(fā)明（設計）人: A·卡爾;A·普拉卡什;劉洺堉;D·J·阿庫納·馬雷羅;A·T·巴留索;S·菲德勒
• 申請（專利權）人: 輝達公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06T11/60;G06N20/20;G06F16/901;G06T7/00
• 代理公司: 北京市磐華律師事務所 11336
• 代理人: 高偉

1.一種方法，包括：對使用場景語法生成的場景圖進行采樣；將表示所述場景圖的第一數(shù)據(jù)應用于第一機器學習模型，所述第一機器學習模型被訓練以預測更新場景圖，所述更新場景圖具有在真實世界屬性分布之后建模的合成屬性分布；使用所述第一機器學習模型并且至少部分地基于所述第一數(shù)據(jù)，來計算表示變換的場景圖的第二數(shù)據(jù)，所述變換的場景圖包括由所述場景圖內的初始屬性表示的至少一個對象的更新屬性；至少部分地基于所述第二數(shù)據(jù)來渲染表示圖像的圖像數(shù)據(jù)；至少部分地基于所述第二數(shù)據(jù)來生成表示相應地面實況的地面實況數(shù)據(jù)；以及使用所述圖像數(shù)據(jù)和所述地面實況數(shù)據(jù)來訓練第二機器學習模型。

2.根據(jù)權利要求1所述的方法，其中，所述場景語法是概率語法。

3.根據(jù)權利要求1所述的方法，其中，所述初始屬性和相應的所述更新屬性包括位置、姿勢、維度、顏色、類別或標識值中的至少一個。

4.根據(jù)權利要求1所述的方法，其中，所述第一機器學習模型包括圖卷積網絡。

5.根據(jù)權利要求1所述的方法，其中，所述第一機器學習模型被進一步訓練以預測所述變換的場景圖，所述變換的場景圖具有所述合成屬性分布，所述合成屬性分布是針對所述第二機器學習模型的任務量身定制的。

6.根據(jù)權利要求5所述的方法，其中使用第一損失函數(shù)來訓練所述第一機器學習模型用于預測所述變換的場景圖，所述變換的場景圖具有在所述真實世界屬性分布之后建模的所述合成屬性分布，并且使用與所述第一損失函數(shù)不同的第二損失函數(shù)來訓練所述第一機器學習模型用于預測所述變換的場景圖，所述變換的場景圖具有所述合成屬性分布，所述合成屬性分布是針對所述第二機器學習模型的所述任務量身定制的。

7.根據(jù)權利要求1所述的方法，其中，所述初始屬性的第一子集是可變的，并且所述初始屬性的第二子集是固定的，進一步地，其中在所述變換的場景圖內僅所述第一子集考慮所述更新屬性。

8.根據(jù)權利要求1所述的方法，其中，所述地面實況數(shù)據(jù)是使用所述圖像數(shù)據(jù)自動生成的，以對應于所述第二機器學習模型的任務。

9.根據(jù)權利要求1所述的方法，其中，在部署之前，在真實世界驗證數(shù)據(jù)集上測試所述第二機器學習模型。

10.一種方法，包括：使用機器學習模型并且至少部分地基于從場景語法采樣的表示初始場景圖的第一數(shù)據(jù)來計算表示變換的場景圖的第二數(shù)據(jù)，每個變換的場景圖包括變換的屬性，所述變換的屬性與對應于所述初始場景圖的初始屬性不同；至少部分地基于所述第二數(shù)據(jù)渲染表示合成圖像的第三數(shù)據(jù)；通過將對應于所述合成圖像的合成屬性分布與對應于真實世界圖像的真實世界屬性分布進行比較來確定差異；至少部分地基于所述差異，生成表示網絡更新信息的第四數(shù)據(jù)；以及使用所述第四數(shù)據(jù)來訓練所述機器學習模型。

11.根據(jù)權利要求10所述的方法，其中所述合成屬性分布或所述真實世界屬性分布中的至少一個通過以下步驟確定：將表示所述真實世界圖像或所述合成圖像中的至少一個的第五數(shù)據(jù)應用于被訓練用于特征提取的另一機器學習模型；以及至少部分地基于所述另一機器學習模型的輸出來確定所述合成屬性分布或所述真實世界屬性分布中的至少一個。

12.根據(jù)權利要求10所述的方法，其中，所述場景語法是概率場景語法。

13.根據(jù)權利要求10所述的方法，其中，所述機器學習模型是圖卷積網絡。

14.根據(jù)權利要求10所述的方法，其中，所述差異是最大平均差異(MMD)。