[發(fā)明專利]未標(biāo)記數(shù)據(jù)的場景圖生成

在審

• 申請?zhí)枺?/td>: 202180009426.1
• 申請日: 2021-05-26
• 公開（公告）號: CN115004251A
• 公開（公告）日: 2022-09-02
• 發(fā)明（設(shè)計(jì)）人: A·普拉卡什;S·德布納斯;J-F·拉弗萊什;E·卡梅拉西;G·斯塔特;M·T·洛
• 申請（專利權(quán)）人: 輝達(dá)公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/764;G06V10/82
• 代理公司: 北京市磐華律師事務(wù)所 11336
• 代理人: 高偉

1.一種計(jì)算機(jī)實(shí)現(xiàn)的方法，包括：

將第一組標(biāo)記的合成數(shù)據(jù)的一個(gè)或更多個(gè)特征和第二組未標(biāo)記的真實(shí)數(shù)據(jù)的一個(gè)或更多個(gè)特征編碼到潛在空間；

提供所述潛在空間作為輸入以訓(xùn)練場景圖預(yù)測網(wǎng)絡(luò)；

對齊所述潛在空間中的一個(gè)或更多個(gè)特征和所述場景預(yù)測網(wǎng)絡(luò)的輸出空間中的一個(gè)或更多個(gè)特征；

將所述合成數(shù)據(jù)的一個(gè)或更多個(gè)標(biāo)記與所述真實(shí)數(shù)據(jù)對齊；以及

使用一個(gè)或更多個(gè)對齊的標(biāo)記訓(xùn)練場景圖生成模型。

2.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，還包括：

使用以下項(xiàng)中的至少一者對齊所述潛在空間中的所述一個(gè)或更多個(gè)特征與所述輸出空間中的所述一個(gè)或更多個(gè)特征：一個(gè)或更多個(gè)梯度反轉(zhuǎn)層(GRL)或域鑒別器。

3.根據(jù)權(quán)利要求2所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中對齊所述一個(gè)或更多個(gè)特征減少了以下各項(xiàng)中的至少一項(xiàng)上的一個(gè)或更多個(gè)差異：所述組標(biāo)記的合成數(shù)據(jù)與未標(biāo)記的真實(shí)數(shù)據(jù)之間的外觀或內(nèi)容。

4.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，還包括：

使用基于偽統(tǒng)計(jì)的自學(xué)習(xí)來將所述一個(gè)或更多個(gè)標(biāo)記對齊。

5.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，還包括：

接收圖像；以及

使用經(jīng)訓(xùn)練的場景圖預(yù)測網(wǎng)絡(luò)來生成所述圖像的場景圖。

6.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述訓(xùn)練包括應(yīng)用網(wǎng)絡(luò)融合標(biāo)準(zhǔn)。

7.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，還包括：

使用經(jīng)訓(xùn)練的場景圖預(yù)測網(wǎng)絡(luò)來生成場景圖；以及

從所生成的場景圖生成合成圖像。

8.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中使用一個(gè)或更多個(gè)卷積神經(jīng)網(wǎng)絡(luò)(CNN)將所述一個(gè)或更多個(gè)特征編碼至所述潛在空間，所述潛在空間包括所述第一組標(biāo)記的合成數(shù)據(jù)和所述第二組未標(biāo)記的真實(shí)數(shù)據(jù)兩者的一個(gè)或更多個(gè)特征。

9.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中對齊所述一個(gè)或更多個(gè)特征減小了所述合成數(shù)據(jù)與所述真實(shí)數(shù)據(jù)之間的外觀差距，并且其中對齊所述一個(gè)或更多個(gè)標(biāo)記減小了所述合成數(shù)據(jù)與所述真實(shí)數(shù)據(jù)之間的內(nèi)容差距。

10.一種系統(tǒng)，包括：

至少一個(gè)處理器；以及

存儲器，其包括指令，在由所述至少一個(gè)處理器執(zhí)行所述指令時(shí)，使所述系統(tǒng)：

將第一組標(biāo)記的合成數(shù)據(jù)和第二組未標(biāo)記的真實(shí)數(shù)據(jù)的一個(gè)或更多個(gè)特征編碼到潛在空間；

提供所述潛在空間作為輸入以訓(xùn)練場景圖預(yù)測網(wǎng)絡(luò)；

對齊所述潛在空間中的一個(gè)或更多個(gè)特征和所述場景預(yù)測網(wǎng)絡(luò)的輸出空間的一個(gè)或更多個(gè)特征；

在所述合成數(shù)據(jù)與所述真實(shí)數(shù)據(jù)之間對齊一個(gè)或更多個(gè)標(biāo)記；以及

使用一個(gè)或更多個(gè)對齊的標(biāo)記來訓(xùn)練場景圖生成模型。

11.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中所述指令在被執(zhí)行時(shí)，進(jìn)一步使所述系統(tǒng)：

使用以下項(xiàng)中的至少一者對齊所述潛在空間中的所述一個(gè)或更多個(gè)特征與所述輸出空間中的所述一個(gè)或更多個(gè)特征：一個(gè)或更多個(gè)梯度反轉(zhuǎn)層(GRL)或域鑒別器。

12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中對齊所述一個(gè)或更多個(gè)特征減少了在所述組標(biāo)記的合成數(shù)據(jù)與未標(biāo)記的真實(shí)數(shù)據(jù)之間的外觀和內(nèi)容上的一個(gè)或更多個(gè)差異。

13.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中所述指令在被執(zhí)行時(shí)，進(jìn)一步使所述系統(tǒng)：

使用基于偽統(tǒng)計(jì)的自學(xué)習(xí)來對齊一個(gè)或更多個(gè)標(biāo)記。

14.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中所述指令在被執(zhí)行時(shí)，進(jìn)一步使所述系統(tǒng)：

接收未標(biāo)記的圖像；以及

使用經(jīng)訓(xùn)練的場景圖預(yù)測網(wǎng)絡(luò)來生成所述圖像的場景圖。