[發(fā)明專利]用于合成數(shù)據(jù)生成的場景結(jié)構(gòu)的無監(jiān)督學(xué)習(xí)

在審

• 申請?zhí)枺?/td>: 202110245600.4
• 申請日: 2021-03-05
• 公開（公告）號: CN113361705A
• 公開（公告）日: 2021-09-07
• 發(fā)明（設(shè)計）人: J·德瓦蘭揚(yáng);S·菲德勒;A·卡爾
• 申請（專利權(quán)）人: 輝達(dá)公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06K9/62;G06F30/27
• 代理公司: 北京市磐華律師事務(wù)所 11336
• 代理人: 吳洋

1.一種計算機(jī)實現(xiàn)的方法，包括：

使用來自規(guī)則集的多個規(guī)則中的至少子集來生成場景結(jié)構(gòu)，所述多個規(guī)則指定場景中的對象的類型之間的關(guān)系；

確定所述場景結(jié)構(gòu)中表示的所述對象中的一個或更多個的一個或更多個參數(shù)值；

基于所述場景結(jié)構(gòu)生成場景圖形并包括所述參數(shù)值；以及

將所述場景圖形提供給渲染引擎以渲染所述場景的圖像。

2.根據(jù)權(quán)利要求1所述的計算機(jī)實現(xiàn)的方法，還包括：

將對象相關(guān)內(nèi)容的庫提供給所述渲染引擎，所述對象相關(guān)內(nèi)容的庫將用于使用所述對象的所述一個或更多個參數(shù)值來渲染所述場景結(jié)構(gòu)中表示的所述對象。

3.根據(jù)權(quán)利要求1所述的計算機(jī)實現(xiàn)的方法，還包括：

使所述渲染引擎包括對象標(biāo)簽或具有所述場景的所述圖像的場景結(jié)構(gòu)信息中的至少一個，其中所述圖像能夠被用作訓(xùn)練神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的計算機(jī)實現(xiàn)的方法，還包括：

接收指示所述規(guī)則或?qū)ο笾徊槐挥糜谒鰣鼍暗妮斎耄?/p>

更新所述場景圖形以反映所述輸入；以及

將經(jīng)更新的場景圖形提供給所述渲染引擎以渲染所述場景的經(jīng)更新的圖像。

5.根據(jù)權(quán)利要求1所述的計算機(jī)實現(xiàn)的方法，還包括：

利用所述規(guī)則集生成各種場景圖形集；以及

使用所述各種場景圖形集生成虛擬環(huán)境。

6.根據(jù)權(quán)利要求5所述的計算機(jī)實現(xiàn)的方法，其中所述虛擬環(huán)境是游戲環(huán)境，并且其中所述渲染引擎用于使用所述各種場景圖形集針對與所述游戲環(huán)境相對應(yīng)的游戲中的一個或更多個玩家來渲染所述游戲環(huán)境的一個或更多個圖像。

7.根據(jù)權(quán)利要求5所述的計算機(jī)實現(xiàn)的方法，還包括：

在一個或更多個自主或半自主機(jī)器的一個或更多個測試模擬中利用所述虛擬環(huán)境。

8.根據(jù)權(quán)利要求1所述的計算機(jī)實現(xiàn)的方法，其中以無監(jiān)督方式從所述規(guī)則集生成所述場景結(jié)構(gòu)，而無需一個或更多個輸入圖像上的數(shù)據(jù)注釋。

9.根據(jù)權(quán)利要求1所述的計算機(jī)實現(xiàn)的方法，還包括：

將概率分配給所述規(guī)則集中的規(guī)則；以及

通過根據(jù)所述概率對所述規(guī)則進(jìn)行采樣來選擇所述多個規(guī)則的所述子集。

10.根據(jù)權(quán)利要求9所述的計算機(jī)實現(xiàn)的方法，還包括：

確定場景掩碼以指示通過所述采樣能夠選擇所述規(guī)則集中的哪一個或更多個規(guī)則。

11.根據(jù)權(quán)利要求1所述的計算機(jī)實現(xiàn)的方法，還包括：

使用迭代過程生成所述場景結(jié)構(gòu)，其中在多個時間步長中的一個或更多個中，確定是否針對所述場景結(jié)構(gòu)中的一個或更多個對象類型執(zhí)行擴(kuò)展，所述對象類型被定位在分層場景結(jié)構(gòu)中的不同級別處。

12.根據(jù)權(quán)利要求1所述的計算機(jī)實現(xiàn)的方法，其中生成模型被用于使用所述規(guī)則集生成所述場景結(jié)構(gòu)。

13.根據(jù)權(quán)利要求1所述的計算機(jī)實現(xiàn)的方法，還包括：

生成潛在向量作為所述生成模型的輸入，所述潛在向量具有等于所述規(guī)則集中的規(guī)則數(shù)的長度。

14.一種系統(tǒng)，包括：

至少一個處理器；以及

存儲器，其包含指令，所述指令在由所述至少一個處理器執(zhí)行時，使所述系統(tǒng)：

使用來自規(guī)則集的多個規(guī)則中的至少子集來生成場景結(jié)構(gòu)，所述多個規(guī)則指定場景中的對象的類型之間的關(guān)系；

確定所述場景結(jié)構(gòu)中表示的所述對象中的一個或更多個的一個或更多個參數(shù)值；

基于所述場景結(jié)構(gòu)生成場景圖形并包括所述參數(shù)值；以及

將所述場景圖形提供給渲染引擎以渲染所述場景的圖像。