[發明專利]三維夸張漫畫人臉生成方法及裝置

有效

• 申請號: 202010091132.5
• 申請日: 2020-02-13
• 公開（公告）號: CN111402394B
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 劉永進;葉子鵬;易冉
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/00;G06T15/04;G06T15/10
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 張秀程

1.一種三維夸張漫畫人臉生成方法，其特征在于，包括：

將正常人臉照片輸入預先訓練好的3D-CariGAN模型中，輸出三維夸張漫畫人臉的PCA系數，基于預先獲取的三維夸張漫畫人臉的PCA模型根據所述PCA系數恢復出所述三維夸張漫畫人臉的幾何模型；其中，所述3D-CariGAN模型為生成對抗網絡模型；

根據所述正常人臉照片重建出三維正常人臉，并將所述三維正常人臉投影到所述正常人臉照片上，將投影結果作為所述三維夸張漫畫人臉的紋理映射；

將所述正常人臉照片輸入預先訓練好的CariStyGAN中，輸出所述三維夸張漫畫人臉的紋理貼圖；

根據所述幾何模型、紋理映射和紋理貼圖，獲取所述三維夸張漫畫人臉；

基于預先獲取的所述三維夸張漫畫人臉的PCA模型根據所述PCA系數恢復出所述三維夸張漫畫人臉的幾何模型的步驟之前還包括：

獲取夸張漫畫人臉圖片的數據庫，提取所述數據庫中每個夸張漫畫人臉圖片中的人臉關鍵點，并通過人工交互的方法對所述人臉關鍵點進行修正；

根據每個所述夸張漫畫人臉圖片的修正后的人臉關鍵點恢復每個所述夸張漫畫人臉圖片對應的三維夸張漫畫人臉模型，使用所述數據庫中所有的夸張漫畫人臉圖片對應的三維夸張漫畫人臉模型構建三維夸張漫畫人臉模型數據庫；

基于主成分分析法對所述三維夸張漫畫人臉模型數據庫進行降維，獲取所述三維夸張漫畫人臉的PCA模型。

2.根據權利要求1所述的三維夸張漫畫人臉生成方法，其特征在于，將正常人臉照片輸入預先訓練好的3D-CariGAN模型中，輸出三維夸張漫畫人臉的PCA系數的步驟之前還包括：

對所述3D-CariGAN模型進行訓練；

其中，在訓練的第一過程對所述3D-CariGAN模型中的第一生成器、第二生成器和第一判別器進行訓練；

在訓練的第二過程對所述第一生成器、所述第二生成器和所述3D-CariGAN模型中的第二判別器進行訓練；

所述訓練的第一過程為根據正常人臉照片樣本生成所述三維夸張漫畫人臉的PCA系數，再根據生成的所述三維夸張漫畫人臉的PCA系數生成正常人臉照片；

所述訓練的第二過程為根據三維夸張漫畫人臉的PCA系數樣本生成正常人臉照片，再根據生成的正常人臉照片生成所述三維夸張漫畫人臉的PCA系數；

所述第一生成器用于根據正常人臉照片樣本生成三維夸張漫畫人臉的PCA系數；

所述第二生成器用于根據生成的所述三維夸張漫畫人臉的PCA系數生成正常人臉照片；

所述第一判別器用于對所述第一過程中生成的三維漫畫人臉PCA系數進行判別；

所述第二判別器用于對所述第二過程中生成的正常人臉照片進行判別。

3.根據權利要求2所述的三維夸張漫畫人臉生成方法，其特征在于，對所述3D-CariGAN模型進行訓練的目標損失函數為：

L_obj＝L_adv+λ_cycL_cyc+λ_chaL_cha+λ_userL_user；

其中，L_obj為目標損失函數，L_adv為對抗損失函數，為所述第一判別器對所述第一過程中生成的PCA系數進行判別的損失，為所述第二判別器對所述第二過程中生成的正常人臉照片進行判別的損失，L_cyc為循環一致性損失函數，為PCA系數樣本和所述第二過程中生成的PCA系數之間的損失，為正常人臉照片樣本和所述第一過程中生成的正常人臉照片之間的損失，L_cha為生成的PCA系數對應的三維夸張漫畫人臉的特征與正常人臉照片樣本的特征之間的差異，L_user為生成的PCA系數對應的三維夸張漫畫人臉的面部形狀與正常人臉照片樣本的面部形狀之間的差異，λ_cyc、λ_cha和λ_user為權重系數。