[發明專利]基于生成對抗網絡的多視角人臉合成方法和系統

有效

• 申請號: 202110392006.8
• 申請日: 2021-04-13
• 公開（公告）號: CN113140015B
• 公開（公告）日: 2023-03-14
• 發明（設計）人: 吳彰鵬;王璐威
• 申請（專利權）人: 杭州欣禾圣世科技有限公司
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06N3/0464;G06N5/04
• 代理公司: 杭州創信知識產權代理有限公司 33383
• 代理人: 楊燕霞

1.基于生成對抗網絡的多視角人臉合成方法，其特征在于，包括以下步驟，

數據準備，獲取不同身份和姿態的數據集；并對所需的基于生成對抗網絡的多視角人臉合成方法，其特征在于，訓練數據進行打標；身份標簽標記為y^id，姿態標簽標記為y^p，其中，y^id∈{1，2，…n_id-1，n_id}，y^p∈{-90°，-75°，…0°，…90°}，n表示訓練樣本的個數，d表示身份信息，p表示姿態，y表示訓練樣本；

正面人臉生成，輸入人臉圖像x，通過面部歸一化生成器，生成正面人臉圖像x_正面；

正面人臉編輯，人臉編輯器接收正面人臉圖像x_正面，人臉編輯器通過遠程控制模塊控制正面人臉圖像x正面生成設置角度的人臉圖像x_轉；

人臉對比識別，人臉識別器對比識別輸入人臉圖像x和經過人臉編輯生成的與x具有相同偏轉角度的x_轉的特征；

參數更新，依據分布訓練策略更新面部歸一化生成器、人臉編輯器和人臉識別器的參數；

迭代訓練，通過訓練模塊進行訓練，并保存模型參數；面部歸一化生成器包括面部歸一化生成器G_N和面部歸一化判別器D_N；面部歸一化生成器G_N包括生成器G_N編碼器和生成器G_N解碼器；判別器D_N包括判別器D_N編碼器；其中

ΘD_N，ΘG_N分別為D_N和G_N的參數集，表示概率分布，表示先驗知識；人臉編輯器包括人臉編輯生成器G_E和人臉編輯判別器D_E；人臉編輯生成器G_E包括生成器G_E編碼器和生成器G_E解碼器；判別器D_E包括判別器D_E編碼器；其中，

公式3和公式4中，ΘD_E，ΘG_E分別代表D_E和G_E的參數集；人臉識別器是通過Light_CNN29網絡和ACNet網絡設計實現的；

訓練模塊的訓練步驟包括，

第一階段，以交替和對抗訓練的方式訓練面部歸一化器的面部歸一化生成器G_N和面部歸一化判別器D_N；當G_N產生了視覺上與原始輸入圖像相似的效果時，停止第一階段的訓練，然后進入第二階段訓練；

第二階段，對整個模型進行訓練，當G_N的參數值不再更新時，穩定第二次訓練過程，并保證較好的最終性能；

第三階段，基于現有的人臉數據集人臉識別器進行訓練，當模型的損失函數值達到設定的閾值或趨于穩定不再更新時，停止訓練。

2.根據權利要求1所述的基于生成對抗網絡的多視角人臉合成方法，其特征在于，參數更新，參數包括學習率，偏置值，權重值，面部歸一化器和人臉編輯器通過生成網絡和判別網絡的相互對抗過程，將誤差進行反傳，使用Adam優化器分別更新面部歸一化器參數和人臉編輯器的參數，人臉識別器基于light_CNN的網絡結構進行改進，通過反饋機制更新人臉識別器的參數。

3.基于生成對抗網絡的多視角人臉合成系統，包括數據準備模塊，其特征在于，基于權利要求1-2任一所述的生成對抗網絡的多視角人臉合成的方法實現的系統；還包括正面人臉生成模塊、正面人臉編輯模塊、人臉對比識別模塊、參數更新模塊和迭代訓練模塊，正面人臉生成模塊輸入人臉圖像x，通過面部歸一化生成器，生成正面人臉圖像x_正面；

人臉編輯模塊接收正面人臉圖像x_正面，人臉編輯模塊通過遠程控制模塊控制正面人臉圖像x_正面生成設置角度的人臉圖像x_轉；

人臉識別模塊對比識別輸入人臉圖像x和經過人臉編輯生成的與x具有相同偏轉角度的x_轉的特征，

參數更新模塊，依據分布訓練策略更新面部歸一化生成模塊、人臉編輯模塊和人臉識別模塊的參數；迭代訓練模塊，通過訓練模塊進行訓練，并保存模型參數。