[發明專利]利用表示不同種類像素的映射創建圖像

在審

• 申請號: 201811360736.4
• 申請日: 2018-11-15
• 公開（公告）號: CN110009705A
• 公開（公告）日: 2019-07-12
• 發明（設計）人: 王鼎鈞;劉洺堉;B·C·卡坦扎羅;J·考茨;A·J·陶
• 申請（專利權）人: 輝達公司
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06T1/20
• 代理公司: 北京市磐華律師事務所 11336
• 代理人: 高偉;趙楠

公開了一種方法、計算機可讀介質和系統，用于利用表示場景內不同種類的特定像素的映射來創建圖像。一個或更多個計算系統使用該映射來創建初步圖像。然后將該初步圖像與用于創建映射的原始圖像進行比較。確定初步圖像是否與原始圖像匹配，并且確定結果用于調整創建初步圖像的計算系統，這改善了這種計算系統的性能。然后，調整后的計算系統用于基于表示場景內特定像素的各種對象種類的不同輸入映射來創建圖像。

要求優先權

本申請要求2017年11月15日提交的標題為“利用條件GAN的高分 辨率圖像合成與語義操縱(High-Resolution Image Synthesis and Semantic Manipulation withConditional GANs)”的美國臨時申請No.62/586,743的權 益，其全部內容通過引用并入本文。

技術領域

本發明涉及圖像渲染，并且更具體地，涉及利用語義表示來渲染圖像。

背景技術

使用標準圖形技術渲染照片般逼真的圖像可能是一個復雜的過程，因 為幾何形狀、材料和光傳輸是明確模擬的。此外，構建和編輯虛擬環境既 昂貴又耗時，因為虛擬世界的每個部分都需要明確建模。結果，期望使用 從數據學習的模型來渲染照片般逼真的圖像，這可以將渲染圖形的過程轉 換為模型學習和推理問題。因此需要解決與現有技術相關的這些問題和/或 其他問題。

附圖說明

圖1示出了根據實施例的利用表示不同種類像素的映射來創建圖像的 方法的流程圖。

圖2示出了根據實施例的并行處理單元。

圖3A示出了根據實施例的圖2的并行處理單元內的通用處理集群。

圖3B示出了根據實施例的圖2的并行處理單元的存儲器分區單元。

圖4A示出了根據實施例的圖3A的流式多處理器。

圖4B是根據實施例的使用圖2的PPU實現的處理系統的概念圖。

圖4C示出了可以實現各種先前實施例的各種架構和/或功能的示例性 系統。

圖5是根據實施例的由圖2的PPU實現的圖形處理管線的概念圖。

圖6示出了根據實施例的生成器的示例性網絡架構。

圖7示出了根據實施例的示例性訓練編碼器架構。

圖8示出了根據實施例的用于訓練粗到精生成器的方法的流程圖。

圖9示出了根據實施例的用于實現經訓練的粗到精生成器的方法的流 程圖。

圖10示出了根據實施例的用于利用實例特征映射來精化輸出的方法 的流程圖。

圖11示出了根據實施例的用于至少部分地基于圖像的第一數字表示 的語義表示來訓練機器學習模型的方法的流程圖。

圖12示出了根據實施例的用于至少部分地基于圖像的第一數字表示 的語義表示來訓練機器學習模型的方法的流程圖。

圖13示出了根據實施例的示例性機器學習模型。

圖14示出了根據實施例的用于使用經訓練的生成器架構的方法的流 程圖。

具體實施方式