[發(fā)明專利]人臉表情遷移方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202111040112.6
• 申請(qǐng)日: 2021-09-06
• 公開(kāi)（公告）號(hào): CN113762147B
• 公開(kāi)（公告）日: 2023-07-04
• 發(fā)明（設(shè)計(jì)）人: 姚光明;袁燚;胡志鵬
• 申請(qǐng)（專利權(quán)）人: 網(wǎng)易(杭州)網(wǎng)絡(luò)有限公司
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V10/82;G06N3/0464;G06N3/096;G06T3/00
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 何少巖

本申請(qǐng)?zhí)峁┮环N人臉表情遷移方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，涉及機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域。該方法包括：獲取源人臉圖像以及驅(qū)動(dòng)人臉圖像；對(duì)源人臉圖像和驅(qū)動(dòng)人臉圖像分別進(jìn)行三維重建，得到源人臉圖像和驅(qū)動(dòng)人臉圖像分別對(duì)應(yīng)的人臉網(wǎng)格參數(shù)，人臉網(wǎng)格參數(shù)包括身份參數(shù)、表情參數(shù)和姿態(tài)參數(shù)；根據(jù)源人臉圖像對(duì)應(yīng)的人臉網(wǎng)格參數(shù)，獲得源人臉網(wǎng)格；以及根據(jù)源人臉圖像對(duì)應(yīng)的身份參數(shù)、驅(qū)動(dòng)人臉圖像對(duì)應(yīng)的表情參數(shù)和姿態(tài)參數(shù)，獲得驅(qū)動(dòng)人臉網(wǎng)格；采用預(yù)先訓(xùn)練的人臉表情遷移模型，生成源人臉圖像對(duì)應(yīng)的優(yōu)化后的源人臉紋理貼圖；根據(jù)優(yōu)化后的源人臉紋理貼圖以及驅(qū)動(dòng)人臉網(wǎng)格，生成目標(biāo)人臉圖像。本方法可實(shí)現(xiàn)較優(yōu)的人臉表情遷移效果。

技術(shù)領(lǐng)域

本申請(qǐng)涉及機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，具體而言，涉及一種人臉表情遷移方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

2D人臉表情遷移是一種人臉圖片編輯技術(shù)。通過(guò)提供一張?jiān)慈四槇D片和一張驅(qū)動(dòng)人臉圖片，可以將源人臉圖片變?yōu)轵?qū)動(dòng)人臉的表情和頭部姿態(tài)。

現(xiàn)有的人臉表情遷移主要通過(guò)預(yù)先訓(xùn)練的生成器編輯實(shí)現(xiàn)，通過(guò)接收源人臉圖像、源人臉關(guān)鍵點(diǎn)和目標(biāo)人臉關(guān)鍵點(diǎn)作為生成器的輸入，通過(guò)神經(jīng)網(wǎng)絡(luò)計(jì)算得到表情遷移后的目標(biāo)圖像。

但是，上述方法生成的圖片效果不佳，尤其當(dāng)驅(qū)動(dòng)圖與源圖的姿態(tài)差異較大時(shí)，最終生成的圖像中會(huì)產(chǎn)生扭曲、模糊等問(wèn)題。

發(fā)明內(nèi)容

本申請(qǐng)的目的在于，針對(duì)上述現(xiàn)有技術(shù)中的不足，提供一種人臉表情遷移方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，以便于解決現(xiàn)有技術(shù)中存在的人臉表情遷移效果較差的問(wèn)題。

為實(shí)現(xiàn)上述目的，本申請(qǐng)實(shí)施例采用的技術(shù)方案如下：

第一方面，本申請(qǐng)實(shí)施例提供了一種人臉表情遷移方法，包括：

獲取源人臉圖像以及驅(qū)動(dòng)人臉圖像，所述源人臉圖像為具有初始表情的第一目標(biāo)對(duì)象的人臉圖像，所述驅(qū)動(dòng)人臉圖像為具有目標(biāo)表情的第二目標(biāo)對(duì)象的人臉圖像；

對(duì)所述源人臉圖像和所述驅(qū)動(dòng)人臉圖像分別進(jìn)行三維重建，得到所述源人臉圖像和所述驅(qū)動(dòng)人臉圖像分別對(duì)應(yīng)的人臉網(wǎng)格參數(shù)，所述人臉網(wǎng)格參數(shù)包括身份參數(shù)、表情參數(shù)和姿態(tài)參數(shù)；

根據(jù)所述源人臉圖像對(duì)應(yīng)的人臉網(wǎng)格參數(shù)，獲得源人臉網(wǎng)格；以及根據(jù)所述源人臉圖像對(duì)應(yīng)的身份參數(shù)、所述驅(qū)動(dòng)人臉圖像對(duì)應(yīng)的表情參數(shù)和姿態(tài)參數(shù)，獲得驅(qū)動(dòng)人臉網(wǎng)格；

采用預(yù)先訓(xùn)練的人臉表情遷移模型，生成所述源人臉圖像對(duì)應(yīng)的優(yōu)化后的源人臉紋理貼圖；

根據(jù)所述優(yōu)化后的源人臉紋理貼圖以及所述驅(qū)動(dòng)人臉網(wǎng)格，生成目標(biāo)人臉圖像，所述目標(biāo)人臉圖像為具有所述目標(biāo)表情的所述第一目標(biāo)對(duì)象的人臉圖像。

可選地，所述人臉表情遷移模型還包括紋理優(yōu)化模塊；所述采用預(yù)先訓(xùn)練的人臉表情遷移模型，生成所述源人臉圖像對(duì)應(yīng)的優(yōu)化后的源人臉紋理貼圖，包括：

由所述紋理優(yōu)化模塊根據(jù)所述源人臉網(wǎng)格對(duì)所述源人臉圖像進(jìn)行反扭曲處理，生成初始的源人臉紋理貼圖；

采用所述紋理優(yōu)化模塊，對(duì)所述初始的源人臉紋理貼圖進(jìn)行優(yōu)化，得到所述優(yōu)化后的源人臉紋理貼圖。

可選地，所述紋理優(yōu)化模塊由編碼器、解碼器及掩膜網(wǎng)絡(luò)構(gòu)成；所述采用所述紋理優(yōu)化模塊，對(duì)所述初始的源人臉紋理貼圖進(jìn)行優(yōu)化，得到所述優(yōu)化后的源人臉紋理貼圖，包括：

使用所述編碼器對(duì)所述初始的源人臉紋理貼圖進(jìn)行編碼，得到源人臉特征圖；

將所述源人臉特征圖輸入所述解碼器和所述掩膜網(wǎng)絡(luò)中，得到所述解碼器輸出的處理后的紋理貼圖以及所述掩膜網(wǎng)絡(luò)輸出的紋理掩膜圖像；

根據(jù)所述紋理掩膜圖像和所述處理后的紋理貼圖，生成所述優(yōu)化后的源人臉紋理貼圖。