[發明專利]一種基于自監督學習的三維人臉模型重建方法及系統

在審

• 申請號: 202110457570.3
• 申請日: 2021-04-27
• 公開（公告）號: CN112950775A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 于耀;梁勝利;周余;都思丹
• 申請（專利權）人: 南京大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/00
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 王愛濤

1.一種基于自監督學習的三維人臉模型重建方法，其特征在于，包括：

基于單張人臉圖片，利用訓練好的編碼神經網絡預測粗糙三維人臉模型參數；

基于所述粗糙三維人臉模型參數構建粗糙三維人臉模型；

將所述粗糙三維人臉模型進行UV展開并進行渲染，得到第一渲染圖像；

將所述單張人臉圖像反投影到所述粗糙三維人臉模型后進行UV展開并進行渲染，得到第二渲染圖像；

基于所述第一渲染圖像和所述第二渲染圖像，利用訓練好的置換貼圖預測神經網絡預測深度方向置換貼圖；

將所述深度方向置換貼圖疊加到所述粗糙三維人臉模型上，得到重建的三維人臉模型。

2.根據權利要求1所述的基于自監督學習的三維人臉模型重建方法，其特征在于，編碼神經網絡的訓練過程包括：

對所述單張人臉圖像進行預處理，得到二維人臉關鍵點以及人臉皮膚掩膜；

通過所述單張人臉圖像、所述二維人臉關鍵點以及所述人臉皮膚掩膜對編碼神經網絡進行迭代訓練，使所述編碼神經網絡的損失函數達到最小。

3.根據權利要求2所述的基于自監督學習的三維人臉模型重建方法，其特征在于，所述編碼神經網絡的損失函數包括第一圖像重建損失函數、人臉關鍵點損失函數、第一感知損失函數以及第一正則項損失函數。

4.根據權利要求1所述的基于自監督學習的三維人臉模型重建方法，其特征在于，所述置換貼圖預測神經網絡的訓練過程包括：

通過所述第一渲染圖像和所述第二渲染圖像對置換貼圖預測神經網絡進行迭代訓練，使所述置換貼圖預測神經網絡的損失函數達到最小。

5.根據權利要求4所述的基于自監督學習的三維人臉模型重建方法，其特征在于，所述置換貼圖預測神經網絡的損失函數包括第二圖像重建損失函數、第二感知損失函數、鄰域平滑約束以及第二正則項損失函數。

6.一種基于自監督學習的三維人臉模型重建系統，其特征在于，包括：

粗糙三維人臉模型參數預測模塊，用于基于單張人臉圖片，利用訓練好的編碼神經網絡預測粗糙三維人臉模型參數；

粗糙三維人臉模型構建模塊，用于基于所述粗糙三維人臉模型參數構建粗糙三維人臉模型；

第一渲染圖像確定模塊，用于將所述粗糙三維人臉模型進行UV展開并進行渲染，得到第一渲染圖像；

第二渲染圖像確定模塊，用于將所述單張人臉圖像反投影到所述粗糙三維人臉模型后進行UV展開并進行渲染，得到第二渲染圖像；

深度方向置換貼圖預測模塊，用于基于所述第一渲染圖像和所述第二渲染圖像，利用訓練好的置換貼圖預測神經網絡預測深度方向置換貼圖；

三維人臉模型重建模塊，用于將所述深度方向置換貼圖疊加到所述粗糙三維人臉模型上，得到重建的三維人臉模型。

7.根據權利要求6所述的基于自監督學習的三維人臉模型重建系統，其特征在于，還包括：

預處理模塊，用于對所述單張人臉圖像進行預處理，得到二維人臉關鍵點以及人臉皮膚掩膜；

第一訓練模塊，用于通過所述單張人臉圖像、所述二維人臉關鍵點以及所述人臉皮膚掩膜對編碼神經網絡進行迭代訓練，使所述編碼神經網絡的損失函數達到最小。

8.根據權利要求7所述的基于自監督學習的三維人臉模型重建系統，其特征在于，所述編碼神經網絡的損失函數包括第一圖像重建損失函數、人臉關鍵點損失函數、第一感知損失函數以及第一正則項損失函數。

9.根據權利要求6所述的基于自監督學習的三維人臉模型重建系統，其特征在于，還包括：

第二訓練模塊，用于通過所述第一渲染圖像和所述第二渲染圖像對置換貼圖預測神經網絡進行迭代訓練，使所述置換貼圖預測神經網絡的損失函數達到最小。

10.根據權利要求9所述的基于自監督學習的三維人臉模型重建系統，其特征在于，所述置換貼圖預測神經網絡的損失函數包括第二圖像重建損失函數、第二感知損失函數、鄰域平滑約束以及第二正則項損失函數。