[發(fā)明專利]一種虛擬形象的生成方法、裝置、設(shè)備及介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110433895.8
• 申請日: 2021-04-20
• 公開（公告）號(hào): CN113112580B
• 公開（公告）日: 2022-03-25
• 發(fā)明（設(shè)計(jì)）人: 呂偉偉;黃奇?zhèn)?/a>;白須;陳朗
• 申請（專利權(quán)）人: 北京字跳網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號(hào): G06T15/00
• 分類號(hào): G06T15/00;G06T17/20;G06N3/08
• 代理公司: 北京開陽星知識(shí)產(chǎn)權(quán)代理有限公司 11710
• 代理人: 王雪

本公開實(shí)施例涉及一種虛擬形象的生成方法、裝置、設(shè)備及介質(zhì)，其中該方法包括：響應(yīng)于用戶輸入獲取目標(biāo)圖像；通過第一生成器生成目標(biāo)圖像對應(yīng)的虛擬形象；其中，第一生成器是基于第一樣本圖像集和三維模型生成的第二樣本圖像集訓(xùn)練得到的。本公開利用第一生成器，有效簡化了虛擬形象的生成方式，提升了生成效率，能夠生成與目標(biāo)圖像一一對應(yīng)的虛擬形象，使虛擬形象更加多樣化；同時(shí)，第一生成器易于部署在各種生產(chǎn)環(huán)境中，降低了對硬件設(shè)備的性能要求。

技術(shù)領(lǐng)域

本公開涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種虛擬形象的生成方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)

具有卡通、動(dòng)漫等風(fēng)格的三維虛擬形象廣泛應(yīng)用于虛擬主播、電商、新聞媒體等場景中，受到了越來越多用戶的關(guān)注與喜愛。目前，三維虛擬形象一般是通過CG(ComputerGraphics，計(jì)算機(jī)圖形學(xué))的方式渲染生成。但是，CG方式生成的虛擬形象單一，缺乏個(gè)性化，如果要實(shí)現(xiàn)多種多樣的虛擬形象，需要從建模開始修改，制作時(shí)間較長、人力成本高；而且，渲染過程對圖形硬件設(shè)備(如顯卡)要求極高，在形象逼真程度和光影復(fù)雜度等渲染視覺效果方面，利用性能有限的硬件設(shè)備(如手機(jī))是很難生成令人滿意的虛擬形象的。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題或者至少部分地解決上述技術(shù)問題，本公開提供了一種虛擬形象的生成方法、裝置、設(shè)備及介質(zhì)。

本公開實(shí)施例提供了一種虛擬形象的生成方法，包括：

響應(yīng)于用戶輸入獲取目標(biāo)圖像；

通過第一生成器生成所述目標(biāo)圖像對應(yīng)的虛擬形象；

其中，所述第一生成器是基于第一樣本圖像集和三維模型生成的第二樣本圖像集訓(xùn)練得到的。

可選的，在所述通過所述第一生成器生成所述目標(biāo)圖像對應(yīng)的虛擬形象之前，所述方法還包括：

檢測所述目標(biāo)圖像中面部的關(guān)鍵點(diǎn)，并確定包含所述關(guān)鍵點(diǎn)的包圍盒；

所述通過所述第一生成器生成所述目標(biāo)圖像對應(yīng)的虛擬形象的步驟，包括：

將所述包圍盒和預(yù)設(shè)位置處的所述關(guān)鍵點(diǎn)輸入至所述第一生成器；

通過所述第一生成器生成第一圖像；其中，所述第一圖像包括目標(biāo)風(fēng)格特征和所述目標(biāo)圖像的內(nèi)容特征，所述目標(biāo)風(fēng)格特征是所述第一生成器從所述第二樣本圖像集的圖像中學(xué)習(xí)得到的風(fēng)格特征；

基于所述第一圖像確定所述目標(biāo)圖像對應(yīng)的虛擬形象。

可選的，基于所述第一圖像確定所述目標(biāo)圖像對應(yīng)的虛擬形象，還包括：

提取所述目標(biāo)圖像中的光照信息和低頻信息；

將所述光照信息和低頻信息與第一圖像的同層次信息進(jìn)行融合，得到第二圖像；

將所述第二圖像確定為所述目標(biāo)圖像對應(yīng)的虛擬形象。

可選的，所述第二樣本圖像集中包括的第二樣本圖像的獲取方式為：

建立面部不同的多個(gè)目標(biāo)三維模型；

對所述目標(biāo)三維模型進(jìn)行渲染，得到多個(gè)第二樣本圖像。

可選的，所述建立面部不同的多個(gè)目標(biāo)三維模型，包括：

建立面部的初始三維模型；

對所述初始三維模型的不同部位進(jìn)行網(wǎng)格形變，得到面部不同的多個(gè)目標(biāo)三維模型。

可選的，所述方法還包括：

基于第二生成器生成包含面部的三維模型的樣本圖像和包含真實(shí)面部的樣本圖像；