[發明專利]人臉表情提取模型生成、人臉圖像生成方法及裝置

在審

• 申請號: 202110251948.4
• 申請日: 2021-03-08
• 公開（公告）號: CN113095134A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 饒強;黃旭為;張國鑫
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T17/00;G06N3/04;G06N3/08
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;賈允

1.一種人臉表情提取模型生成方法，其特征在于，包括：

獲取三維人臉素材圖像和源人臉圖像；

將所述三維人臉素材圖像進行投影，得到所述三維人臉素材圖像對應的二維人臉素材圖像；

將所述源人臉圖像中的人臉表情遷移至所述二維人臉素材圖像，得到目標素材圖像；

根據所述目標素材圖像進行三維重建，得到目標三維人臉模型；

對所述目標三維人臉模型進行解優化，得到所述目標素材圖像對應的表情特征信息；

根據所述目標素材圖像和所述目標素材圖像對應的表情特征信息構建訓練樣本；

基于所述訓練樣本訓練預設的神經網絡，得到人臉表情提取模型。

2.根據權利要求1所述的人臉表情提取模型生成方法，其特征在于，所述預設的神經網絡為表情修正網絡，所述基于所述訓練樣本訓練預設的神經網絡，得到人臉表情提取模型，包括：

將所述訓練樣本中的目標素材圖像輸入表情預測網絡，得到表情預測信息；

將所述表情預測信息輸入所述表情修正網絡，得到修正后表情信息；

根據所述修正后表情信息與所述訓練樣本中的表情特征信息的差值，得到修正損失；

根據所述修正損失訓練所述表情修正網絡；

將所述表情預測網絡與訓練后的所述表情修正網絡確定為所述人臉表情提取模型。

3.根據權利要求1或2所述的人臉表情提取模型生成方法，其特征在于，所述將所述源人臉圖像中的人臉表情遷移至所述二維人臉素材圖像，得到目標素材圖像，包括：

在至少一個所述源人臉圖像中確定基準人臉圖像；所述基準人臉圖像為人臉表情與無表情狀態差異最小的所述源人臉圖像；

將每個所述源人臉圖像輸入一階運動模型中進行表情變化參數提取處理，得到所述每個所述源人臉圖像對應的表情變化參數；所述表情變化參數表征所述每個所述源人臉圖像的表情描述參數相對于所述基準人臉圖像的表情描述參數的變化量；

將所述二維人臉素材圖像輸入所述一階運動模型中進行表情參數提取處理，得到所述二維人臉素材圖像的表情描述參數；

根據所述表情變化參數和所述二維人臉素材圖像的表情描述參數，得到目標素材表情參數；

根據所述目標素材表情參數和所述目標人臉素材圖像，生成所述目標素材圖像。

4.根據權利要求3所述的人臉表情提取模型生成方法，其特征在于，所述表情變化參數包括關鍵點位置變化參數和運動狀態變化參數；所述表情描述參數包括關鍵點位置參數和運動狀態描述參數，所述根據所述表情變化參數和所述二維人臉素材圖像的表情描述參數，得到目標素材表情參數，包括：

根據所述關鍵點位置變化參數和所述二維人臉素材圖像的關鍵點位置參數，得到所述目標素材的關鍵點位置參數；

根據所述運動狀態變化參數和所述二維人臉素材圖像的運動狀態描述參數，得到所述目標素材的運動狀態描述參數；

根據所述目標素材的關鍵點位置參數和所述目標素材的運動狀態描述參數，得到所述目標素材表情參數。

5.一種人臉圖像生成方法，其特征在于，所述方法包括：

獲取參考人臉圖像和三維人臉素材；

將所述參考人臉圖像輸入人臉表情提取模型，得到所述參考人臉圖像的表情特征信息；

根據所述三維人臉素材和所述參考人臉圖像的表情特征信息進行三維重建，得到三維映射人臉模型；

將所述三維映射人臉模型進行投影，得到目標人臉圖像；

其中，所述人臉表情提取模型根據權利要求1-4中任意一項所述的人臉表情提取模型生成方法得到。