[發明專利]用于合成數據生成的場景結構的無監督學習

在審

• 申請號: 202110245600.4
• 申請日: 2021-03-05
• 公開（公告）號: CN113361705A
• 公開（公告）日: 2021-09-07
• 發明（設計）人: J·德瓦蘭揚;S·菲德勒;A·卡爾
• 申請（專利權）人: 輝達公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06K9/62;G06F30/27
• 代理公司: 北京市磐華律師事務所 11336
• 代理人: 吳洋

本發明公開了一種用于合成數據生成的場景結構的無監督學習。規則集或場景語法可用于生成表示場景中對象的結構和視覺參數的場景圖形。渲染器可以將該場景圖形作為輸入并具有在場景圖形中識別的資產的內容庫，可以生成具有期望的場景結構的場景合成圖像，而無需在場景中手動放置任何對象。以這種方式合成的圖像或環境可用于，例如為真實世界的導航應用程序生成訓練數據，以及為游戲或虛擬現實體驗生成虛擬世界。

相關申請的交叉引用

本專利申請要求于2020年3月6日提交的名稱為“橋接模擬到真實的間隙：用于合成數據生成的場景結構的無監督學習(Bridging the Sim-to-Real Gap: UnsupervisedLearning of Scene Structure for Synthetic Data Generation)”的美國臨時專利申請序列號62/986,614的優先權，特此出于所有目的將其全文并入本文。

背景技術

諸如游戲、動畫和模擬之類的應用程序越來越依賴于更詳細和逼真的虛擬環境。在許多情況下，過程模型被用于在這些環境中合成場景，以及創建用于機器學習的標記合成數據集。為了產生逼真的和多樣化的場景，專家必須仔細調整控制程序模型的許多參數。這些參數既控制生成的場景的結構(例如，場景中有多少輛汽車)，也控制將對象置于有效配置中的參數。手動確定和調整這些參數以及配置這些場景的其他方面的知識的復雜性和知識量可能會限制廣泛適用，并且還可能會限制所生成環境的真實性或范圍。

附圖說明

將參考附圖描述根據本公開的各種實施例，其中：

圖1A和圖1B示出了根據至少一個實施例的可以生成的圖像；

圖2A、圖2B和圖2C示出了根據至少一個實施例的場景的規則和圖形；

圖3A、圖3B和圖3C示出了根據至少一個實施例的場景圖形生成的階段；

圖4示出了根據至少一個實施例的用于從場景語法生成圖像的過程；

圖5示出了根據至少一個實施例的用于訓練網絡的過程；

圖6示出了根據至少一個實施例的用于生成場景圖形的系統的組件；

圖7A示出了根據至少一個實施例的推理和/或訓練邏輯；

圖7B示出了根據至少一個實施例的推理和/或訓練邏輯；

圖8示出了根據至少一個實施例的示例數據中心系統；

圖9示出了根據至少一個實施例的計算機系統；

圖10示出了根據至少一個實施例的計算機系統；

圖11示出了根據一個或更多個實施例的圖形處理器的至少一部分；

圖12示出了根據一個或更多個實施例的圖形處理器的至少一部分；

圖13是根據至少一個實施例的用于高級計算管線的示例數據流程圖；

圖14是根據至少一個實施例的用于在高級計算管線中訓練、調整、實例化和部署機器學習模型的示例系統的系統圖；以及

圖15A和圖15B示出了根據至少一個實施例的用于訓練機器學習模型的過程的數據流程圖，以及用于利用預訓練的注釋模型來增強注釋工具的客戶端服務器架構。

具體實施方式