[發明專利]一種基于生成式對抗網絡的人臉表情編輯方法

有效

• 申請號: 201810048098.6
• 申請日: 2018-01-18
• 公開（公告）號: CN108171770B
• 公開（公告）日: 2021-04-06
• 發明（設計）人: 張剛;韓琥;張杰;山世光;陳熙霖
• 申請（專利權）人: 中科視拓（北京）科技有限公司
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于生成式對抗網絡的人臉表情編輯方法，其特征在于：所述方法的整體步驟為：

步驟S1、數據準備階段

a1、對RGB圖像集合中的每一張人臉進行人工標注，標注出人臉身份信息和人臉表情信息；每張圖片的標注信息用[i，j]表示，i代表該圖片屬于第i個人，j代表該圖片屬于第j種表情；

b1、通過人臉檢測器和人臉特征點檢測器將標注完成的圖像集合中的人臉從圖片上裁剪出來，并做人臉對齊；

步驟S2、模型設計階段

a2、模型由兩部分組成，分別為生成器G和判別器D；其中，生成器G用于根據輸入的待編輯人臉圖片和表情控制向量，生成表情控制向量控制的人臉圖片；判別器D用于根據生成器G生成的圖片以及真實帶標注的人臉圖片，區分真實樣本和生成樣本的分布，并學習人臉表情分布以及人臉身份信息的分布；

b2、利用上述生成器G和判別器D組成基于生成式對抗網絡的人臉表情編輯的框架，從而進行對抗訓練；

步驟S3、模型訓練階段

a3、將真實帶標注的人臉圖片和生成器G生成的圖片輸入判別器D，訓練并使得判別器D用來區分真實樣本和生成樣本的分布，學習人臉表情分布以及人臉身份信息的分布；其中，生成器G生成的圖片被標記為假[0]，真實帶標注的人臉圖片被標記為真[1，i，j]；

b3、將待編輯人臉圖片img0[i，j]和表情控制向量y輸入生成器G，輸出由表情控制向量控制的人臉圖片；再將生成器G輸出的圖片假[0]，輸入判別器D，使得判別器將其判別為真[1]、人臉身份信息i以及人臉表情信息j，保證生成器G生成更加真實、身份信息保持更好、表情控制更加有效的人臉圖片；

c3、每重復3次步驟a3，然后重復1次步驟b3，進行判別器D的訓練，進而進行生成器G的訓練；

d3、每個epoch保存一次模型參數，并且在測試集合上進行人臉表情編輯，觀察生成器G的輸出圖片效果；當生成器G生成滿足要求的人臉圖片時，停止模型訓練；同時，保存當前人臉圖片生成的模型參數；

步驟S4、模型測試階段

a4、輸入圖像為包含人臉的圖像I；

b4、將圖像I輸入人臉檢測器并獲得人臉位置，并利用該人臉位置裁剪圖像I獲得人臉圖像img0，然后對人臉圖像img0做人臉對齊；

c4、將對齊的人臉圖片和表情控制向量輸入生成器G，得到表情編輯后的人臉圖片img1。