[發明專利]三維人臉重建網絡訓練及虛擬人臉形象生成方法和裝置

有效

• 申請號: 202010165219.2
• 申請日: 2020-03-11
• 公開（公告）號: CN111354079B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 孫爽;李琛;陳楊;戴宇榮
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/00;G06V40/16;G06V10/26;G06V10/74;G06V10/82;G06V10/80
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 于麗君;李文淵

1.一種三維人臉重建網絡訓練方法，所述方法包括：

獲取二維人臉樣本圖片；

通過待訓練的三維人臉重建網絡從所述二維人臉樣本圖片中提取三維人臉樣本參數；

將所述三維人臉樣本參數輸入渲染器模擬網絡進行映射處理，得到虛擬人臉形象；

將所述虛擬人臉形象及所述二維人臉樣本圖片分別輸入人臉一致性網絡進行分割，得到第一中間特征和每種分割結果對應的第一概率圖，以及第二中間特征和每種所述分割結果對應的第二概率圖；對所述第一中間特征分別與每種分割結果對應的第一概率圖進行融合，得到每個分割結果對應的第一融合特征；對所述第二中間特征分別與每種分割結果對應的第二概率圖進行融合，得到每個分割結果對應的第二融合特征；分別計算每種分割結果對應的第一融合特征與第二融合特征的相似距離；根據全部所述分割結果對應的相似距離，確定所述虛擬人臉形象相對所述二維人臉圖形的特征損失值；

基于所述特征損失值調整所述三維人臉重建網絡的參數并繼續訓練，直至滿足訓練結束條件時結束訓練，得到訓練后的三維人臉重建網絡。

2.根據權利要求1所述的方法，其特征在于，所述渲染器模擬網絡預訓練的步驟包括：

確定所述待訓練的三維人臉重建網絡的應用場景及目標風格；

獲取適用于所述應用場景的所述目標風格的三維人臉標準參數及虛擬人臉樣本形象；

將所述三維人臉標準參數作為輸入，將所述虛擬人臉樣本形象作為輸出對待訓練的渲染器模擬網絡進行訓練，得到用于在應用場景渲染出目標風格的虛擬人臉形象的預訓練的渲染器模擬網絡。

3.根據權利要求1所述的方法，其特征在于，所述人臉一致性網絡包括人臉五官分割網絡；所述人臉五官分割網絡包括串行連接的多個卷積層；所述將所述虛擬人臉形象及所述二維人臉樣本圖片分別輸入人臉一致性網絡進行分割，得到第一中間特征和每種分割結果對應的第一概率圖，以及第二中間特征和每種所述分割結果對應的第二概率圖包括：

通過預訓練的人臉五官分割網絡，確定所述虛擬人臉形象中各圖片區域屬于預設的每種分割結果的概率值，得到每種所述分割結果對應的第一概率圖；獲取目標順序的卷積層輸出的所述虛擬人臉形象的第一中間特征；

通過預訓練的人臉五官分割網絡，確定所述二維人臉樣本圖片中各圖片區域屬于預設的每種分割結果的概率值，得到每種分割結果對應的第二概率圖；獲取所述目標順序的卷積層輸出的所述二維人臉樣本圖片的第二中間特征。

4.根據權利要求1所述的方法，其特征在于，所述方法還包括：

獲取人像圖片；

對所述人像圖片進行識別，得到所述人像圖片中的頭部區域和身體區域；

從所述人像圖片中提取出所述頭部區域的圖片作為二維人臉樣本圖片。

5.根據權利要求1所述的方法，其特征在于，所述人臉一致性網絡包括人臉識別網絡；所述方法還包括：

通過所述人臉識別網絡在所述虛擬人臉形象中提取第一人臉特征；

通過所述人臉識別網絡在所述二維人臉樣本圖片中提取第二人臉特征；

根據所述第一人臉特征與所述第二人臉特征的相似距離，確定所述虛擬人臉形象相對所述二維人臉樣本圖片的特征損失值。

6.根據權利要求1所述的方法，其特征在于，所述人臉一致性網絡包括人臉關鍵點檢測網絡；所述方法還包括：

通過人臉關鍵點檢測網絡在所述虛擬人臉形象中提取第一關鍵點特征；

通過人臉關鍵點檢測網絡在二維人臉樣本圖片中提取第二關鍵點特征；

根據所述第一關鍵點特征與所述第二關鍵點特征的相似距離，確定所述虛擬人臉形象相對所述二維人臉樣本圖片的特征損失值。