[發(fā)明專(zhuān)利]虛擬對(duì)象生成方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品

在審

• 申請(qǐng)?zhí)枺?/td>: 202310333495.9
• 申請(qǐng)日: 2023-03-31
• 公開(kāi)（公告）號(hào): CN116342843A
• 公開(kāi)（公告）日: 2023-06-27
• 發(fā)明（設(shè)計(jì)）人: 張俊哲;任達(dá)萱;蔡中昂;楊彩姬;戴勃;呂健勤
• 申請(qǐng)（專(zhuān)利權(quán)）人: 商湯國(guó)際私人有限公司;南洋理工大學(xué)
• 主分類(lèi)號(hào): G06T19/00
• 分類(lèi)號(hào): G06T19/00;G06N3/0475;G06N3/094
• 代理公司: 北京派特恩知識(shí)產(chǎn)權(quán)代理有限公司 11270
• 代理人: 崔曉嵐;張穎玲

1.一種虛擬對(duì)象生成方法，其特征在于，所述方法包括：

獲取包含第一對(duì)象的第一圖像；

利用生成對(duì)抗網(wǎng)絡(luò)，基于所述生成對(duì)抗網(wǎng)絡(luò)的第一潛在特征，生成第一三維虛擬對(duì)象；所述生成對(duì)抗網(wǎng)絡(luò)是利用樣本圖像集訓(xùn)練得到的，所述樣本圖像集中的每一樣本圖像中均包含與所述第一對(duì)象屬于同一對(duì)象類(lèi)別的第二對(duì)象；

按照所述第一圖像的第一相機(jī)位姿，將所述第一三維虛擬對(duì)象渲染為第二圖像；

基于所述第一圖像和所述第二圖像，確定第一損失值；

基于所述第一損失值，對(duì)所述第一潛在特征和所述第一相機(jī)位姿進(jìn)行更新，得到第二潛在特征以及與所述第二潛在特征對(duì)應(yīng)的第二三維虛擬對(duì)象；其中，所述第二三維虛擬對(duì)象是利用所述生成對(duì)抗網(wǎng)絡(luò)，基于所述第二潛在特征生成的。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述第一損失值，對(duì)所述第一潛在特征和所述第一相機(jī)位姿進(jìn)行更新，得到第二潛在特征以及與所述第二潛在特征對(duì)應(yīng)的第二三維虛擬對(duì)象，包括：

在所述第一損失值不滿足設(shè)定的損失條件的情況下，分別對(duì)所述第一潛在特征和所述第一相機(jī)位姿進(jìn)行更新，得到更新后的所述第一潛在特征和更新后的所述第一相機(jī)位姿；

基于更新后的所述第一潛在特征和更新后的所述第一相機(jī)位姿，確定第二潛在特征以及與所述第二潛在特征對(duì)應(yīng)的第二三維虛擬對(duì)象。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于更新后的所述第一潛在特征和更新后的所述第一相機(jī)位姿，確定第二潛在特征以及與所述第二潛在特征對(duì)應(yīng)的第二三維虛擬對(duì)象，包括：

利用所述生成對(duì)抗網(wǎng)絡(luò)，基于更新后的所述第一潛在特征，生成更新后的所述第一三維虛擬對(duì)象；

基于更新后的所述第一相機(jī)位姿和更新后的所述第一三維虛擬對(duì)象，確定更新后的第二圖像；

基于所述第一圖像和更新后的所述第二圖像，確定更新后的第一損失值；

在更新后的所述第一損失值滿足設(shè)定的損失條件的情況下，將更新后的所述第一潛在特征確定為第二潛在特征，并將更新后的所述第一三維虛擬對(duì)象確定為第二三維虛擬對(duì)象。

4.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的方法，其特征在于，所述第一三維虛擬對(duì)象具有第一幾何貼圖和第一紋理貼圖，所述第一損失值包括紋理?yè)p失值；

所述按照所述第一圖像的第一相機(jī)位姿，將所述第一三維虛擬對(duì)象渲染為第二圖像，包括：

基于所述第一幾何貼圖和設(shè)定的第一網(wǎng)格模板，確定第一網(wǎng)格；

按照所述第一相機(jī)位姿，基于所述第一紋理貼圖和所述第一網(wǎng)格進(jìn)行圖像渲染，得到渲染后的第二圖像；

所述基于所述第一圖像和所述第二圖像，確定第一損失值，包括：

基于所述第一圖像和所述第二圖像，確定紋理?yè)p失值。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述紋理?yè)p失值包括第一紋理?yè)p失值；

所述基于所述第一圖像和所述第二圖像，確定紋理?yè)p失值，包括：

分別對(duì)所述第一圖像和所述第二圖像進(jìn)行前景提取，得到第一像素點(diǎn)集合和第二像素點(diǎn)集合；

基于所述第一像素點(diǎn)集合和所述第二像素點(diǎn)集合，確定第一紋理?yè)p失值。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述基于所述第一像素點(diǎn)集合和所述第二像素點(diǎn)集合，確定第一紋理?yè)p失值，包括：

針對(duì)所述第一像素點(diǎn)集合中的每一第一像素點(diǎn)，確定所述第一像素點(diǎn)與所述第二像素點(diǎn)集合中的每一第二像素點(diǎn)之間的第一距離，并將取值最小的第一距離確定為所述第一像素點(diǎn)的第一像素?fù)p失值；

針對(duì)所述第二像素點(diǎn)集合中的每一第二像素點(diǎn)，確定所述第二像素點(diǎn)與所述第一像素點(diǎn)集合中的每一第一像素點(diǎn)之間的第二距離，并將取值最小的第二距離確定為所述第二像素點(diǎn)的第二像素?fù)p失值；

基于每一所述第一像素?fù)p失值和每一所述第二像素?fù)p失值，確定第一紋理?yè)p失值。