[發明專利]三維面部生成方法和裝置、三維面部重演方法和裝置

在審

• 申請號: 202210402505.5
• 申請日: 2022-04-18
• 公開（公告）號: CN114898034A
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 曾豪;張智勐;張唯;丁彧;呂唐杰;范長杰;胡志鵬
• 申請（專利權）人: 網易（杭州）網絡有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06V10/774;G06V40/16;G06V40/10;G06V20/40;H04N5/265
• 代理公司: 北京清源匯知識產權代理事務所(特殊普通合伙) 11644
• 代理人: 馮德魁

1.一種三維面部生成方法，其特征在于，包括：

基于目標表情編碼網絡模型，獲取包含第一身份對象的第一圖像的表情向量，其中，所述目標表情編碼網絡模型為基于面部具有遮擋物的表情圖像進行訓練確定的模型；所述第一圖像為面部具有遮擋物的圖像；

將所述表情向量，以及包含第二身份對象的第二圖像，輸入到目標面部生成網絡模型中，確定將所述第一圖像的表情向量遷移到所述第二圖像中所述第二身份對象面部的目標圖像，其中，所述目標面部生成網絡模型為基于具有相同身份的圖像對應的不同表情進行表情遷移訓練確定的模型。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

從表情圖像樣本數據集中獲取目標樣本圖像、與所述目標樣本圖像表情相似的正樣本圖像以及與所述目標樣本圖像表情不相似的負樣本圖像，其中，所述目標樣本圖像、所述正樣本圖像和所述負樣本圖像中至少有一張圖像中的部分面部區域具有遮擋物，且所述目標樣本圖像、所述正樣本圖像和所述負樣本圖像為具有不同身份信息的樣本圖像；

基于所述目標樣本圖像、所述正樣本圖像和所述負樣本圖像對初始的表情編碼網絡模型進行訓練，所述表情編碼模型用于計算輸入圖像對應的表情向量；

當根據所述表情向量確定滿足預設的模型收斂條件時，獲得所述目標表情編碼網絡模型。

3.根據權利要求2所述的方法，其特征在于，所述基于所述目標樣本圖像、所述正樣本圖像和所述負樣本圖像對初始的表情編碼模型進行訓練，包括：

將所述目標樣本圖像、所述正樣本圖像和所述負樣本圖像分別輸入至初始的表情編碼網絡模型，分別獲得對應的表情向量；

基于所述目標樣本圖像對應的表情向量、所述正樣本圖像對應的表情向量、所述負樣本圖像對應的表情向量以及預設的損失函數，獲得損失值；

根據所述損失值確定是否滿足預設的收斂條件，若不滿足，則對初始的表情編碼網絡模型的參數進行調整，并對調整后的所述表情編碼網絡模型進行下一輪的訓練。

4.根據權利要求1所述的方法，其特征在于，所述將所述表情向量，以及包含第二身份對象的第二圖像輸入到目標面部生成網絡模型中，確定將所述第一圖像的表情向量遷移到所述第二圖像面部的目標圖像，包括：

將所述第二圖像輸入到所述目標面部生成網絡模型的編碼器中，確定所述第二圖像對應的面部特征；

將所述第一圖像的表情向量、以及所述第二圖像對應的面部特征輸入至所述目標面部生成網絡模型的嵌入模塊中，確定將所述第一圖像的表情向量嵌入到所述第二圖像的目標面部特征；

將所述目標面部特征輸入到所述目標面部生成網絡模型的解碼器中，確定所述目標圖像。

5.根據權利要求1所述的方法，其特征在于，還包括：

基于目標姿態編碼網絡模型，獲取所述第一圖像的頭部姿態向量，其中，所述目標姿態編碼網絡模型為基于頭部具有遮擋物的頭部姿態圖像進行訓練確定的模型；

所述將所述表情向量，以及包含第二身份對象的第二圖像，輸入到目標面部生成網絡模型中，確定將所述第一圖像的表情向量遷移到所述第二圖像的目標圖像，還包括：將所述頭部姿態向量輸入到輸入有所述表情向量和所述第二圖像的所述目標面部生成網絡模型中，確定將所述表情向量和所述頭部姿態向量遷移到所述第二圖像的第二身份對象面部的所述目標圖像。

6.根據權利要求5所述的方法，其特征在于，所述方法還包括：

獲取具有遮擋物的頭部姿態圖像，所述頭部姿態圖像具有姿態真值標簽；

將所述頭部姿態圖像輸入至初始姿態編碼網絡模型，確定預測姿態標簽；

基于所述姿態真值標簽、所述預測姿態標簽和預設的損失函數，獲得損失值；

根據所述損失值確定是否滿足預設的收斂條件，若否，則對所述初始姿態編碼網絡模型的參數進行調整，并對調整后的所述初始姿態編碼模型進行下一輪的訓練，直到滿足所述預設的收斂條件，獲得所述目標姿態編碼網絡模型。