[發(fā)明專(zhuān)利]一種基于重建和生成網(wǎng)絡(luò)的人臉替換方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011425921.4
• 申請(qǐng)日: 2020-12-09
• 公開(kāi)（公告）號(hào): CN112541966A
• 公開(kāi)（公告）日: 2021-03-23
• 發(fā)明（設(shè)計(jì)）人: 譚曉陽(yáng);蔣珂
• 申請(qǐng)（專(zhuān)利權(quán)）人: 南京航空航天大學(xué)
• 主分類(lèi)號(hào): G06T17/00
• 分類(lèi)號(hào): G06T17/00;G06T5/00;G06N3/08;G06N3/04
• 代理公司: 南京蘇高專(zhuān)利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 梁耀文

1.一種基于重建和生成網(wǎng)絡(luò)的人臉替換方法，其特征在于，包括如下步驟：

(1)將源人臉圖像和目標(biāo)人臉圖像輸入方位映射網(wǎng)絡(luò)進(jìn)行3D人臉重建；

(2)將步驟(1)中的源人臉模型的姿態(tài)調(diào)節(jié)源人臉的姿態(tài)至目標(biāo)人臉的姿態(tài)；

(3)利用嘴部細(xì)節(jié)生成網(wǎng)絡(luò)在步驟(2)的結(jié)果上，進(jìn)行人物嘴部細(xì)節(jié)的生成；

(4)在步驟(3)的結(jié)果上利用全局銳化生成網(wǎng)絡(luò)進(jìn)行人臉整體偽影、噪聲的去除，從而得到一張滿足人眼無(wú)法輕易鑒別和算法無(wú)法輕易識(shí)別的人臉替換圖像結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種基于重建和生成網(wǎng)絡(luò)的人臉替換方法，其特征在于：所述步驟(3)中進(jìn)行人物嘴部細(xì)節(jié)的生成的具體步驟如下：

(3.1)建立一個(gè)最小二乘對(duì)抗生成網(wǎng)絡(luò)，進(jìn)行判別誤差的提?。?/p>

(3.2)建立一個(gè)VGG網(wǎng)絡(luò)進(jìn)行重建誤差的提??；

(3.3)對(duì)步驟(2)輸出的人臉圖像進(jìn)行嘴部姿態(tài)特征提取；

(3.3)在訓(xùn)練時(shí)，生成器輸入為(3.3)的嘴部姿態(tài)特征，判別器輸入為生成器的輸出以及目標(biāo)人臉圖像的嘴部圖像，VGG結(jié)構(gòu)的輸入為生成器的輸出以及目標(biāo)人臉圖像的嘴部圖像；采用(3.1)所述的判別誤差以及(3.2)所述的重建誤差對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，損失函數(shù)如下：

其中LD為判別器損失，而LG為生成器損失，而V(x)函數(shù)表示x經(jīng)過(guò)VGG結(jié)構(gòu)的輸出，而其產(chǎn)生的損失稱(chēng)為內(nèi)容損失Content Loss，而γ參數(shù)表示對(duì)抗損失Adversarial Loss的系數(shù)。

3.根據(jù)權(quán)利要求1所述的一種基于重建和生成網(wǎng)絡(luò)的人臉替換方法，其特征在于：所述步驟(4)中利用全局銳化生成網(wǎng)絡(luò)的具體步驟如下：

(4.1)建立一個(gè)二乘對(duì)抗生成網(wǎng)絡(luò)，進(jìn)行判別誤差的提??；

(4.2)建立一個(gè)VGG網(wǎng)絡(luò)進(jìn)行重建誤差的提?。?/p>

(4.3)建立一個(gè)翻譯器網(wǎng)絡(luò)，用于將人臉圖像翻譯為對(duì)應(yīng)的語(yǔ)義圖像，用于進(jìn)行語(yǔ)義誤差的提??；

(4.4)將原圖像進(jìn)行3D人臉重建，得到原始圖像；

(4.5)訓(xùn)練時(shí)，生成器輸入為(4.4)中的原始圖像，判別器輸入為生成器的輸出以及(4.4)中的原圖像，翻譯器網(wǎng)絡(luò)的輸入為生成器的輸出以及(4.4)中的原圖像，VGG網(wǎng)絡(luò)的輸入為生成器的輸出以及(4.4)中的原圖像。采用(4.1)所述的判別誤差、(4.2)所述的重建誤差以及(4.3)所述的語(yǔ)義誤差對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，損失函數(shù)如下：

其中LD為判別器損失，而LG為生成器損失，而V(x)函數(shù)表示x的內(nèi)容損失，P(x)函數(shù)表示x經(jīng)過(guò)PR-Net產(chǎn)生的結(jié)果，T(x)函數(shù)表示翻譯器輸出的結(jié)果，此處稱(chēng)其產(chǎn)生的損失為語(yǔ)義損失；系數(shù)α、β分別為對(duì)抗損失和重構(gòu)損失的系數(shù)。