[發(fā)明專利]一種基于幾何先驗對抗生成網(wǎng)絡的人臉表情合成方法

在審

• 申請?zhí)枺?/td>: 202011623820.8
• 申請日: 2020-12-30
• 公開（公告）號: CN112634392A
• 公開（公告）日: 2021-04-09
• 發(fā)明（設計）人: 侯巒軒;馬鑫;赫然;孫哲南
• 申請（專利權）人: 天津中科智能識別產業(yè)技術研究院有限公司
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 天津市三利專利商標代理有限公司 12107
• 代理人: 韓新城

1.基于幾何先驗對抗生成網(wǎng)絡的人臉表情合成方法，其特征在于，包括：

S1.將表情數(shù)據(jù)庫圖像數(shù)據(jù)預處理，提取人臉圖像的表情關鍵點，制作人臉關鍵點熱力圖；

S2.將人臉圖像和人臉關鍵點熱力圖作為網(wǎng)絡模型的輸入，訓練對抗生成網(wǎng)絡中的兩對生成器和判別器同時完成表情生成和去除的任務，訓練得到能同時進行表情生成和表情去除的幾何先驗對抗生成網(wǎng)絡模型；其中，

對于表情生成任務，通過生成器對輸入進行處理得到生成的有表情人臉，與真實的有表情人臉在判別器中進行對抗損失的計算；對于表情去除任務，通過生成器對輸入進行處理得到生成的無表情人臉，與真實的無表情人臉在判別器中進行對抗損失的計算；迭代多次達到穩(wěn)定后完成模型的訓練；

S3.使用訓練好的幾何先驗對抗生成網(wǎng)絡模型，對測試數(shù)據(jù)進行表情生成和去除處理，并對經過去除處理操作的圖像進行表情不變人臉識別。

2.根據(jù)權利要求1所述的基于幾何先驗對抗生成網(wǎng)絡的人臉表情合成方法，其特征在于，步驟S2中，在表情生成任務中，將表情關鍵點信息處理得到人臉關鍵點熱力圖與無表情圖像結合作為網(wǎng)絡模型的輸入，有表情圖像作為真實圖像標簽；在表情去除任務中，將表情關鍵點信息處理得到人臉關鍵點熱力圖與有表情圖像結合作為網(wǎng)絡模型的輸入，無表情圖像作為真實圖像標簽。

3.根據(jù)權利要求1所述的基于幾何先驗對抗生成網(wǎng)絡的人臉表情合成方法，其特征在于，步驟S2包括：

S21：初始化表情生成和表情去除兩個任務的網(wǎng)絡權重參數(shù)，其中，生成器的損失函數(shù)是和判別器的損失函數(shù)是和

S22：對于表情生成任務，結合無表情人臉和表情關鍵點信息輸入到生成器網(wǎng)絡G₁中進行有表情人臉的合成任務，生成的有表情圖像與無表情人臉和表情關鍵點信息一起構成假樣本，真實的有表情人臉與無表情人臉和表情關鍵點信息一起構成真樣本，再將假樣本和真樣本輸入到判別器網(wǎng)絡D₁中，依次迭代訓練使生成器的損失函數(shù)和判別器的損失函數(shù)均降低至趨于穩(wěn)定；

S23：對于表情去除任務，結合真實表情人臉和表情關鍵點信息輸入到生成器網(wǎng)絡G₂中進行有表情人臉的去除任務，生成的無表情圖像與真實的表情人臉和表情關鍵點信息一起構成假樣本，真實的無表情人臉與真實的表情人臉和表情關鍵點信息一起構成真樣本，再將假樣本和真樣本輸入到判別器網(wǎng)絡D₂中，依次迭代訓練使生成器的損失函數(shù)和判別器的損失函數(shù)均降低至趨于穩(wěn)定；

S24：同時訓練表情生成和表情去除任務，直至所有的損失函數(shù)不再降低，從而得到最終的對抗生成網(wǎng)絡模型。

4.根據(jù)權利要求3所述的基于幾何先驗對抗生成網(wǎng)絡的人臉表情合成方法，其特征在于，表情生成任務中生成器和判別器的目標函數(shù)如下表示：

其中，I為表情合成判別器中真實無表情圖像，H為表情人臉熱力圖，G₁為表情合成生成器，D₁為表情合成判別器，I'為表情合成判別器中真實表情圖像，為生成圖像和真實圖像間的對抗損失，L_pixel為圖像間L₁范數(shù)度量，L_cyc為循環(huán)一致性L₁范數(shù)度量，L_identity為特征層間L₁范數(shù)度量，α₁,α₂,α₃為損失的權重系數(shù)，E_{I,H,I'～P(I,H,I')}為表情合成判別器中真實無表情圖像、表情人臉熱力圖與表情合成判別器中真實表情圖像的概率分布的期望。