[發明專利]一種基于重建和生成網絡的人臉替換方法

在審

• 申請號: 202011425921.4
• 申請日: 2020-12-09
• 公開（公告）號: CN112541966A
• 公開（公告）日: 2021-03-23
• 發明（設計）人: 譚曉陽;蔣珂
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T5/00;G06N3/08;G06N3/04
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 梁耀文

本發明公開了一種基于重建和生成網絡的人臉替換方法，步驟如下：將源人臉圖像和目標人臉圖像輸入方位映射網絡進行3D人臉重建，并調節源人臉的姿態至目標人臉的姿態；利用嘴部細節生成網絡進行人物嘴部細節的生成；利用全局銳化生成網絡進行人臉整體偽影、噪聲的去除，從而得到一張滿足人眼無法輕易鑒別和算法無法輕易識別的人臉替換圖像結果。本發明能夠在僅有一對源人臉圖像和目標人臉圖像的基礎上生成逼真的人臉替換結果，提高了人臉替換方法的效率，適合生成不同身份的、大量的人臉替換結果，為人臉偽造檢測算法提供大量的對抗樣本。

技術領域

本發明屬于自動控制領域，特別涉及一種基于重建和生成網絡的人臉替換方法。

背景技術

人臉替換(face swap)是人臉編輯中一個比較熱門的研究課題。本文主要關注高質量的、用于身份替換的人臉替換。所謂高質量的人臉替換，指的是人眼以及計算機判別器算法無法輕易識別出破綻的人臉替換圖像，而用于身份替換的人臉替換指的是將源人像中人物的身份遷移到目標人像的人物上，并維持目標人像的其他特征不變。

目前主流的人臉替換方法為DeepFakes類方法，它主要有以下幾種思路：基于卷積網絡的人臉替換是一款基于深度學習的人臉替換方法，它設計了一系列的卷積網絡來解決人臉替換時所需要面臨的各種問題，比如姿態、膚色、光照等等，但是人臉替換結果的表現取決于這些網絡的任務設計，設計欠佳會導致偽造痕跡較為明顯。另一種DeepFakes方法主要以基于自編碼模型的人臉替換為主，先設計兩對自編碼器結構對源人像集合和目標人像集合分別進行自監督訓練，再將兩個解碼器交換進行測試，表現相較于先前的方法有了較大的改進，尤其是引入GAN網絡后的DeepFaceLab方法，其已經可以生成較為逼真的偽造結果，但是從一些實驗樣本中可以看出身份保持性不佳，并且由于算法設計的原因，DeepFakes類方法需要大量源人像和目標人像來進行訓練，并且對于不同的源身份需要分別進行訓練。

另一種人臉替換方法是基于3D人臉重建的人臉替換，但是由于其缺乏對3D重建后貼圖操作的處理，導致其偽造痕跡仍舊較為明顯。

DeepFakes類方法的生成人臉替換結果效率低下，而基于3D人臉重建類方法缺乏對貼圖的有效處理。

發明內容

發明目的：針對現有技術存在的問題，提供一種基于重建和生成網絡的人臉替換方法，高質量、高效率，并適合生成大規模對抗樣本集。

技術方案：為解決上述技術問題，本發明提供一種基于重建和生成網絡的人臉替換方法，包括如下步驟：

(1)將源人臉圖像和目標人臉圖像輸入方位映射網絡進行3D人臉重建。

(2)將步驟(1)中的源人臉模型的姿態調節源人臉的姿態至目標人臉的姿態。

(3)利用嘴部細節生成網絡在步驟(2)的結果上，進行人物嘴部細節的生成。

(4)在步驟(3)的結果上利用全局銳化生成網絡進行人臉整體偽影、噪聲的去除，從而得到一張滿足人眼無法輕易鑒別和算法無法輕易識別的人臉替換圖像結果。

進一步的，所述的一種基于重建和生成網絡的人臉替換方法，其特征在于：通過步驟(3)中嘴部細節生成網絡的訓練步驟如下：

(3.1)建立一個最小二乘對抗生成網絡，進行判別誤差的提取。

(3.2)建立一個VGG網絡進行重建誤差的提取。

(3.3)對步驟(2)輸出的人臉圖像進行嘴部姿態特征提取。

(3.3)在訓練時，生成器輸入為(3.3)的嘴部姿態特征，判別器輸入為生成器的輸出以及目標人臉圖像的嘴部圖像，VGG結構的輸入為生成器的輸出以及目標人臉圖像的嘴部圖像。采用(3.1)所述的判別誤差以及(3.2)所述的重建誤差對網絡進行訓練，損失函數如下：