[發明專利]三維人臉構建方法、裝置和電子設備

在審

• 申請號: 202010798495.2
• 申請日: 2020-08-10
• 公開（公告）號: CN111882643A
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 林江科;袁燚;范長杰;胡志鵬
• 申請（專利權）人: 網易(杭州)網絡有限公司
• 主分類號: G06T15/04
• 分類號: G06T15/04;G06T15/50;G06K9/00
• 代理公司: 北京超成律師事務所 11646
• 代理人: 張芮

1.一種三維人臉構建方法，其特征在于，所述方法包括：

獲取人臉圖像；

確定所述人臉圖像的人臉特征向量和三維人臉可變性3DMM系數；

將所述3DMM系數輸入預先設定的3DMM模型中，輸出所述人臉圖像的第一人臉紋理和三維人臉形狀；

將所述第一人臉紋理和所述人臉特征向量輸入至預先訓練完成的紋理優化模型中，輸出第二人臉紋理；其中，所述紋理優化模型包括至少一個圖卷積網絡；

基于所述三維人臉形狀和所述第二人臉紋理構建所述人臉圖像的目標三維人臉。

2.根據權利要求1所述的方法，其特征在于，確定所述人臉圖像的人臉特征向量和三維人臉可變性3DMM系數的步驟，包括：

將所述人臉圖像輸入預先訓練完成的特征提取器模型中，輸出所述人臉圖像的人臉特征向量；

將所述人臉圖像輸入預先訓練完成的回歸器模型中，輸出所述人臉圖像的三維人臉可變性3DMM系數。

3.根據權利要求1所述的方法，其特征在于，所述紋理優化模型包括圖卷積解碼器、圖卷積優化器和圖卷積結合網絡；

將所述第一人臉紋理和所述人臉特征向量輸入至預先訓練完成的紋理優化模型中，輸出第二人臉紋理的步驟，包括：

將所述人臉特征向量輸入至所述圖卷積解碼器，輸出第一三維網格；

將所述第一人臉紋理輸入至所述圖卷積優化器，輸出第二三維網格；

將所述第一三維網格和所述第二三維網格輸入至所述圖卷積結合網絡，輸出第二人臉紋理。

4.根據權利要求1所述的方法，其特征在于，所述紋理優化模型通過下述步驟訓練：

基于預設的人臉樣本圖像集確定當前人臉樣本圖像；

確定所述當前人臉樣本圖像的人臉特征向量和3DMM系數；

將所述當前人臉樣本圖像的3DMM系數輸入預先設定的3DMM模型中，輸出所述當前人臉樣本圖像的第一人臉樣本紋理和三維人臉樣本形狀；

將所述當前人臉樣本圖像的第一人臉樣本紋理和人臉特征向量輸入至所述紋理優化模型中，輸出所述當前人臉樣本圖像的第二人臉樣本紋理；

基于所述當前人臉樣本圖像的第二人臉樣本紋理計算所述紋理優化模型的逐頂點損失值；

基于所述逐頂點損失值調整所述紋理優化模型的參數；

重復執行所述訓練，直至所述訓練的次數達到預設次數閾值或所述逐頂點損失值收斂為止。

5.根據權利要求4所述的方法，其特征在于，所述方法還包括：

確定所述當前人臉樣本圖像的姿態系數和光照系數；

將所述第二人臉樣本紋理、三維人臉樣本形狀、姿態系數和光照系數輸入預先設定的渲染器中，輸出渲染圖像；

將所述渲染圖像和所述當前人臉樣本圖像輸入至判別器中，輸出判別結果；

基于所述判別結果計算網絡損失值；其中，所述網絡損失值至少包括以下之一：身份保持損失值、逐像素損失值和對抗損失值；

基于所述網絡損失值調整所述紋理優化模型和所述判別器的參數；

重復執行所述訓練，直至所述訓練的次數達到預設第二次數閾值或所述網絡損失值收斂為止。

6.根據權利要求5所述的方法，其特征在于，確定所述當前人臉樣本圖像的姿態系數和光照系數的步驟，包括：

將所述當前人臉樣本圖像輸入預先訓練完成的回歸器模型中，輸出所述當前人臉樣本圖像的姿態系數和光照系數。

7.根據權利要求5所述的方法，其特征在于，所述判別結果包括：第一判別值和第二判別值，其中，所述第一判別值用以表征所述渲染圖像和所述當前人臉樣本圖像屬于真實人臉圖像的樣本分布，所述第二判別值用以表征所述渲染圖像和所述當前人臉樣本圖像不屬于真實人臉圖像的樣本分布。

8.根據權利要求7所述的方法，其特征在于，基于所述判別結果計算網絡損失值的步驟，包括：

如果所述判別結果為所述第二判別值，基于所述渲染圖像和所述當前人臉樣本圖像計算網絡損失值。