[發(fā)明專利]人臉表情遷移方法、裝置、電子設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202111040112.6
• 申請日: 2021-09-06
• 公開（公告）號: CN113762147B
• 公開（公告）日: 2023-07-04
• 發(fā)明（設(shè)計）人: 姚光明;袁燚;胡志鵬
• 申請（專利權(quán)）人: 網(wǎng)易(杭州)網(wǎng)絡(luò)有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82;G06N3/0464;G06N3/096;G06T3/00
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 何少巖

1.一種人臉表情遷移方法，其特征在于，包括：

獲取源人臉圖像以及驅(qū)動人臉圖像，所述源人臉圖像為具有初始表情的第一目標(biāo)對象的人臉圖像，所述驅(qū)動人臉圖像為具有目標(biāo)表情的第二目標(biāo)對象的人臉圖像；

對所述源人臉圖像和所述驅(qū)動人臉圖像分別進行三維重建，得到所述源人臉圖像和所述驅(qū)動人臉圖像分別對應(yīng)的人臉網(wǎng)格參數(shù)，所述人臉網(wǎng)格參數(shù)包括身份參數(shù)、表情參數(shù)和姿態(tài)參數(shù)；

根據(jù)所述源人臉圖像對應(yīng)的人臉網(wǎng)格參數(shù)，獲得源人臉網(wǎng)格；以及根據(jù)所述源人臉圖像對應(yīng)的身份參數(shù)、所述驅(qū)動人臉圖像對應(yīng)的表情參數(shù)和姿態(tài)參數(shù)，獲得驅(qū)動人臉網(wǎng)格；

采用預(yù)先訓(xùn)練的人臉表情遷移模型，生成所述源人臉圖像對應(yīng)的優(yōu)化后的源人臉紋理貼圖；

根據(jù)所述優(yōu)化后的源人臉紋理貼圖以及所述驅(qū)動人臉網(wǎng)格，生成目標(biāo)人臉圖像，所述目標(biāo)人臉圖像為具有所述目標(biāo)表情的所述第一目標(biāo)對象的人臉圖像；

所述人臉表情遷移模型包括紋理優(yōu)化模塊；所述采用預(yù)先訓(xùn)練的人臉表情遷移模型，生成所述源人臉圖像對應(yīng)的優(yōu)化后的源人臉紋理貼圖，包括：

由所述紋理優(yōu)化模塊根據(jù)所述源人臉網(wǎng)格對所述源人臉圖像進行反扭曲處理，生成初始的源人臉紋理貼圖；

采用所述紋理優(yōu)化模塊，對所述初始的源人臉紋理貼圖進行優(yōu)化，得到所述優(yōu)化后的源人臉紋理貼圖；

所述紋理優(yōu)化模塊由編碼器、解碼器及掩膜網(wǎng)絡(luò)構(gòu)成；所述采用所述紋理優(yōu)化模塊，對所述初始的源人臉紋理貼圖進行優(yōu)化，得到所述優(yōu)化后的源人臉紋理貼圖，包括：

使用所述編碼器對所述初始的源人臉紋理貼圖進行編碼，得到源人臉特征圖；

將所述源人臉特征圖輸入所述解碼器和所述掩膜網(wǎng)絡(luò)中，得到所述解碼器輸出的處理后的紋理貼圖以及所述掩膜網(wǎng)絡(luò)輸出的紋理掩膜圖像；

根據(jù)所述紋理掩膜圖像和所述處理后的紋理貼圖，生成所述優(yōu)化后的源人臉紋理貼圖。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述人臉表情遷移模型還包括運動估計模塊；所述根據(jù)所述優(yōu)化后的源人臉紋理貼圖以及所述驅(qū)動人臉網(wǎng)格，生成目標(biāo)人臉圖像，包括：

采用所述運動估計模塊，對所述源人臉網(wǎng)格以及所述驅(qū)動人臉網(wǎng)格進行運動光流估算處理，生成從所述源人臉圖像到所述驅(qū)動人臉圖像的運動光流圖像；

根據(jù)所述優(yōu)化后的源人臉紋理貼圖、所述運動光流圖像以及所述驅(qū)動人臉網(wǎng)格，生成目標(biāo)人臉圖像。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述人臉表情遷移模型還包括人臉驅(qū)動模塊，所述人臉驅(qū)動模塊由可微渲染器、編碼器、解碼器以及遮擋網(wǎng)絡(luò)構(gòu)成；所述根據(jù)所述優(yōu)化后的源人臉紋理貼圖、所述運動光流圖像以及所述驅(qū)動人臉網(wǎng)格，生成目標(biāo)人臉圖像，包括：

將所述優(yōu)化后的源人臉紋理貼圖以及所述驅(qū)動人臉網(wǎng)格輸入所述可微渲染器，得到所述可微渲染器輸出的可微渲染后的人臉圖像；

將所述源人臉圖像以及所述運動光流圖像輸入所述遮擋網(wǎng)絡(luò)，得到所述遮擋網(wǎng)絡(luò)輸出的掩膜圖像；

對所述源人臉圖像進行扭曲變形處理，生成第一形變圖像；

根據(jù)所述可微渲染后的人臉圖像、所述掩膜圖像、以及所述第一形變圖像，生成所述目標(biāo)人臉圖像。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述將所述源人臉圖像以及所述運動光流圖像輸入所述遮擋網(wǎng)絡(luò)，得到所述遮擋網(wǎng)絡(luò)輸出的掩膜圖像，包括：

采用所述遮擋網(wǎng)絡(luò)，對所述源人臉圖像進行扭曲變形處理，生成第二形變圖像；

采用所述遮擋網(wǎng)絡(luò)，對所述第二形變圖像進行掩膜處理，生成所述掩膜圖像。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述對所述源人臉圖像進行扭曲變形處理，生成第一形變圖像，包括：

采用所述編碼器，從所述源人臉圖像中提取源人臉特征圖；

采用所述運動光流圖像，對所述源人臉特征圖進行扭曲變形處理，生成所述第一形變圖像。

6.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述可微渲染后的人臉圖像、所述掩膜圖像、以及所述第一形變圖像，生成所述目標(biāo)人臉圖像，包括：

對所述掩膜圖像以及所述第一形變圖像進行點乘處理，生成處理后的圖像；

采用所述解碼器，對所述處理后的圖像和所述可微渲染后的人臉圖像進行解碼處理，生成所述目標(biāo)人臉圖像。