[發(fā)明專利]虛擬對象生成方法、裝置、設(shè)備、存儲介質(zhì)及程序產(chǎn)品

在審

• 申請?zhí)枺?/td>: 202310333495.9
• 申請日: 2023-03-31
• 公開（公告）號: CN116342843A
• 公開（公告）日: 2023-06-27
• 發(fā)明（設(shè)計(jì)）人: 張俊哲;任達(dá)萱;蔡中昂;楊彩姬;戴勃;呂健勤
• 申請（專利權(quán)）人: 商湯國際私人有限公司;南洋理工大學(xué)
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06N3/0475;G06N3/094
• 代理公司: 北京派特恩知識產(chǎn)權(quán)代理有限公司 11270
• 代理人: 崔曉嵐;張穎玲

提供了一種虛擬對象生成方法、裝置、設(shè)備、存儲介質(zhì)及程序產(chǎn)品，其中，所述方法包括：獲取包含第一對象的第一圖像；基于生成對抗網(wǎng)絡(luò)的第一潛在特征，生成第一三維虛擬對象；按照第一圖像的第一相機(jī)位姿，將第一三維虛擬對象渲染為第二圖像；基于第一圖像和第二圖像，確定第一損失值；基于第一損失值，對第一潛在特征和第一相機(jī)位姿進(jìn)行更新，得到第二潛在特征以及與第二潛在特征對應(yīng)的第二三維虛擬對象；第二三維虛擬對象是利用生成對抗網(wǎng)絡(luò)，基于第二潛在特征生成的。

技術(shù)領(lǐng)域

本申請涉及但不限于計(jì)算機(jī)視覺技術(shù)領(lǐng)域，尤其涉及一種虛擬對象生成方法、裝置、設(shè)備、存儲介質(zhì)及程序產(chǎn)品。

背景技術(shù)

從圖像中重建三維虛擬對象是一件非常有挑戰(zhàn)性的工作。相關(guān)技術(shù)中，在訓(xùn)練集中沒有三維基準(zhǔn)信息和多視角數(shù)據(jù)的情況下，通常利用某種循環(huán)一致性來輔助訓(xùn)練自動編碼器，從而得到重建的三維虛擬對象。然而，由于相關(guān)技術(shù)中重建三維虛擬對象的方法往往過多的關(guān)注物體的可見部分，導(dǎo)致在新的視角下的三維虛擬對象看上去并不真實(shí)，并且很難泛化到圖像中的對象不常見以及圖像中對象存在遮擋的場景。

發(fā)明內(nèi)容

有鑒于此，本申請實(shí)施例至少提供一種虛擬對象生成方法、裝置、設(shè)備、存儲介質(zhì)及程序產(chǎn)品。

本申請實(shí)施例的技術(shù)方案是這樣實(shí)現(xiàn)的：

一方面，本申請實(shí)施例提供一種虛擬對象生成方法，所述方法包括：

獲取包含第一對象的第一圖像；

利用生成對抗網(wǎng)絡(luò)，基于所述生成對抗網(wǎng)絡(luò)的第一潛在特征，生成第一三維虛擬對象；所述生成對抗網(wǎng)絡(luò)是利用樣本圖像集訓(xùn)練得到的，所述樣本圖像集中的每一樣本圖像中均包含與所述第一對象屬于同一對象類別的第二對象；

按照所述第一圖像的第一相機(jī)位姿，將所述第一三維虛擬對象渲染為第二圖像；

基于所述第一圖像和所述第二圖像，確定第一損失值；

基于所述第一損失值，對所述第一潛在特征和所述第一相機(jī)位姿進(jìn)行更新，得到第二潛在特征以及與所述第二潛在特征對應(yīng)的第二三維虛擬對象；其中，所述第二三維虛擬對象是利用所述生成對抗網(wǎng)絡(luò)，基于所述第二潛在特征生成的。

另一方面，本申請實(shí)施例提供一種虛擬對象生成裝置，所述裝置包括：

第一獲取模塊，用于獲取包含第一對象的第一圖像；

第一生成模塊，用于利用生成對抗網(wǎng)絡(luò)，基于所述生成對抗網(wǎng)絡(luò)的第一潛在特征，生成第一三維虛擬對象；所述生成對抗網(wǎng)絡(luò)是利用樣本圖像集訓(xùn)練得到的，所述樣本圖像集中的每一樣本圖像中均包含與所述第一對象屬于同一對象類別的第二對象；

第一渲染模塊，用于按照所述第一圖像的第一相機(jī)位姿，將所述第一三維虛擬對象渲染為第二圖像；

第一確定模塊，用于基于所述第一圖像和所述第二圖像，確定第一損失值；

第一更新模塊，用于基于所述第一損失值，對所述第一潛在特征和所述第一相機(jī)位姿進(jìn)行更新，得到第二潛在特征以及與所述第二潛在特征對應(yīng)的第二三維虛擬對象；其中，所述第二三維虛擬對象是利用所述生成對抗網(wǎng)絡(luò)，基于所述第二潛在特征生成的。

再一方面，本申請實(shí)施例提供一種計(jì)算機(jī)設(shè)備，包括存儲器和處理器，所述存儲器存儲有可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)上述方法中的部分或全部步驟。

又一方面，本申請實(shí)施例提供一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述方法中的部分或全部步驟。

又一方面，本申請實(shí)施例提供一種計(jì)算機(jī)程序，包括計(jì)算機(jī)可讀代碼，當(dāng)所述計(jì)算機(jī)可讀代碼在計(jì)算機(jī)設(shè)備中運(yùn)行時(shí)，所述計(jì)算機(jī)設(shè)備中的處理器執(zhí)行用于實(shí)現(xiàn)上述方法中的部分或全部步驟。