[發明專利]三維夸張漫畫人臉生成方法及裝置

有效

• 申請號: 202010091132.5
• 申請日: 2020-02-13
• 公開（公告）號: CN111402394B
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 劉永進;葉子鵬;易冉
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/00;G06T15/04;G06T15/10
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 張秀程

本發明實施例提供一種三維夸張漫畫人臉生成方法及裝置，方法包括：將正常人臉照片輸入3D?CariGAN模型中，輸出三維夸張漫畫人臉的PCA系數，基于三維夸張漫畫人臉的PCA模型根據PCA系數恢復出三維夸張漫畫人臉的幾何模型；根據正常人臉照片重建出三維正常人臉，并將三維正常人臉投影到正常人臉照片上，獲取三維夸張漫畫人臉的紋理映射；將正常人臉照片輸入CariStyGAN中，輸出三維夸張漫畫人臉的紋理貼圖；根據幾何模型、紋理映射和紋理貼圖，獲取三維夸張漫畫人臉。本發明實施例利用三維夸張漫畫人臉的PCA模型自動生成自然的完整三維夸張漫畫人臉。

技術領域

本發明屬于三維人臉重建技術領域，尤其涉及一種三維夸張漫畫人臉生成方法及裝置。

背景技術

夸張漫畫人臉是一類具有表現力的藝術形式，通常用于宣傳或者針砭時弊。三維夸張漫畫人臉是三維的夸張漫畫人臉，比二維的夸張漫畫人臉更加生動，并且在動畫領域有廣泛的應用。

藝術家設計一個三維夸張漫畫人臉需要花費大量時間和精力，而普通人沒有足夠的專業技術很難設計出三維夸張漫畫人臉。因此，自動生成三維夸張漫畫人臉帶來極大的便利?，F有的三維夸張漫畫人臉自動生成方法需要輸入一些和夸張相關的信息。比如一些現有的技術需要輸入一張夸張漫畫圖片，而另一些現有的技術需要輸入一張夸張漫畫草圖。然而這樣的輸入費時費力，而且很難獲得，從而限制了方法的靈活性。

發明內容

為克服上述現有的三維夸張漫畫人臉自動生成方法需要輸入和夸張相關信息的問題或者至少部分地解決上述問題，本發明實施例提供一種三維夸張漫畫人臉生成方法及裝置。

根據本發明實施例的第一方面，提供一種三維夸張漫畫人臉生成方法，包括：

將正常人臉照片輸入預先訓練好的3D-CariGAN模型中，輸出三維夸張漫畫人臉的PCA系數，基于預先獲取的三維夸張漫畫人臉的PCA模型根據所述PCA系數恢復出所述三維夸張漫畫人臉的幾何模型；

根據所述正常人臉照片重建出三維正常人臉，并將所述三維正常人臉投影到所述正常人臉照片上，將投影結果作為所述三維夸張漫畫人臉的紋理映射；

將所述正常人臉照片輸入預先訓練好的CariStyGAN中，輸出所述三維夸張漫畫人臉的紋理貼圖；

根據所述幾何模型、紋理映射和紋理貼圖，獲取所述三維夸張漫畫人臉。

具體地，將正常人臉照片輸入預先訓練好的3D-CariGAN模型中，輸出三維夸張漫畫人臉的PCA系數的步驟之前還包括：

對所述3D-CariGAN模型進行訓練；

其中，在訓練的第一過程對所述3D-CariGAN模型中的第一生成器、第二生成器和第一判別器進行訓練；

在訓練的第二過程對所述第一生成器、所述第二生成器和所述3D-CariGAN模型中的第二判別器進行訓練；

所述訓練的第一過程為根據正常人臉照片樣本生成所述三維夸張漫畫人臉的PCA系數，再根據生成的所述三維夸張漫畫人臉的PCA系數生成正常人臉照片；

所述訓練的第二過程為根據三維夸張漫畫人臉的PCA系數樣本生成正常人臉照片，再根據生成的正常人臉照片生成所述三維夸張漫畫人臉的PCA系數；

所述第一生成器用于根據正常人臉照片樣本生成三維夸張漫畫人臉的PCA系數；

所述第二生成器用于根據生成的所述三維夸張漫畫人臉的PCA系數生成正常人臉照片；

所述第一判別器用于對所述第一過程中生成的三維漫畫人臉PCA進行判別；

所述第二判別器用于對所述第二過程中生成的正常人臉照片進行判別。