[發(fā)明專利]動物臉風(fēng)格圖像生成方法、模型訓(xùn)練方法、裝置和設(shè)備

在審

• 申請?zhí)枺?/td>: 202011269334.0
• 申請日: 2020-11-13
• 公開（公告）號: CN112330534A
• 公開（公告）日: 2021-02-05
• 發(fā)明（設(shè)計(jì)）人: 何茜
• 申請（專利權(quán)）人: 北京字跳網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T5/50;G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京開陽星知識產(chǎn)權(quán)代理有限公司 11710
• 代理人: 祝樂芳

1.一種動物臉風(fēng)格圖像生成方法，其特征在于，包括：

獲取原始人臉圖像；

利用預(yù)先訓(xùn)練的動物臉風(fēng)格圖像生成模型，得到與所述原始人臉圖像對應(yīng)的動物臉風(fēng)格圖像；

其中，所述動物臉風(fēng)格圖像是指將所述原始人臉圖像上的人臉變換為動物臉后的圖像，所述動物臉風(fēng)格圖像生成模型基于第一人臉樣本圖像和第一動物臉風(fēng)格樣本圖像訓(xùn)練得到，所述第一動物臉風(fēng)格樣本圖像由預(yù)先訓(xùn)練的動物臉生成模型基于所述第一人臉樣本圖像生成，所述動物臉生成模型基于第二人臉樣本圖像和第一動物臉樣本圖像訓(xùn)練得到。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述獲取原始人臉圖像之前，還包括：

根據(jù)用戶選擇的動物特效類型，確定所述動物特效類型對應(yīng)的動物臉關(guān)鍵點(diǎn)與人臉關(guān)鍵點(diǎn)之間的對應(yīng)關(guān)系；

基于確定的對應(yīng)關(guān)系對用戶圖像進(jìn)行人臉位置調(diào)整，以得到所述原始人臉圖像；其中，所述原始人臉圖像符合所述動物臉風(fēng)格圖像生成模型要求的輸入圖像尺寸；

相應(yīng)的，在所述利用預(yù)先訓(xùn)練的動物臉風(fēng)格圖像生成模型，得到與所述原始人臉圖像對應(yīng)的動物臉風(fēng)格圖像之后，還包括：

將所述動物臉風(fēng)格圖像上的動物臉區(qū)域與所述用戶圖像上的背景區(qū)域進(jìn)行融合，得到與所述用戶圖像對應(yīng)的目標(biāo)動物臉風(fēng)格圖像。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，將所述動物臉風(fēng)格圖像上的動物臉區(qū)域與所述用戶圖像上的背景區(qū)域進(jìn)行融合，得到與所述用戶圖像對應(yīng)的目標(biāo)動物臉風(fēng)格圖像，包括：

基于所述動物臉風(fēng)格圖像，得到與所述用戶圖像具有相同圖像尺寸的中間結(jié)果圖像；其中，所述中間結(jié)果圖像上的動物臉區(qū)域位置與所述用戶圖像上的人臉區(qū)域位置相同；

確定與所述動物特效類型對應(yīng)的第一動物臉部蒙版圖像；

基于所述第一動物臉部蒙版圖像，將所述用戶圖像與所述中間結(jié)果圖像進(jìn)行融合，得到與所述用戶圖像對應(yīng)的目標(biāo)動物臉風(fēng)格圖像；其中，所述第一動物臉部蒙版圖像用于將所述中間結(jié)果圖像上的動物臉區(qū)域確定為所述目標(biāo)動物臉風(fēng)格圖像上的動物臉區(qū)域。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于：

所述第一人臉樣本圖像是基于第一原始人臉樣本圖像上的人臉關(guān)鍵點(diǎn)和第一原始動物臉樣本圖像上的動物臉關(guān)鍵點(diǎn)之間的第一對應(yīng)關(guān)系，對所述第一原始人臉樣本圖像進(jìn)行人臉位置調(diào)整后得到；

所述第二人臉樣本圖像是基于第二原始人臉樣本圖像上的人臉關(guān)鍵點(diǎn)和所述第一原始動物臉樣本圖像上的動物臉關(guān)鍵點(diǎn)之間的第二對應(yīng)關(guān)系，對所述第二原始人臉樣本圖像進(jìn)行人臉位置調(diào)整后得到；

所述第一動物臉樣本圖像是基于所述第一對應(yīng)關(guān)系或所述第二對應(yīng)關(guān)系，對所述第一原始動物臉樣本圖像進(jìn)行動物臉位置調(diào)整后得到。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于：

所述動物臉風(fēng)格圖像生成模型基于所述第一人臉樣本圖像和第二動物臉風(fēng)格樣本圖像訓(xùn)練得到，所述第二動物臉風(fēng)格樣本圖像由所述第一動物臉風(fēng)格樣本圖像中的背景區(qū)域替換為所述第一人臉樣本圖像中的背景區(qū)域后得到。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于：

所述第二動物臉風(fēng)格樣本圖像是基于第二動物臉部蒙版圖像，對所述第一動物臉風(fēng)格樣本圖像和所述第一人臉樣本圖像進(jìn)行融合后得到；

所述第二動物臉部蒙版圖像由預(yù)先訓(xùn)練動物臉部分割模型基于所述第一動物臉風(fēng)格樣本圖像得到，所述第二動物臉部蒙版圖像用于將所述第一動物臉風(fēng)格樣本圖像上的動物臉區(qū)域確定為所述第二動物臉風(fēng)格樣本圖像上的動物臉區(qū)域。