[發明專利]一種三維人臉模型的生成方法和設備

在審

• 申請號: 202010621329.5
• 申請日: 2020-06-30
• 公開（公告）號: CN111951372A
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 徐博
• 申請（專利權）人: 重慶靈翎互娛科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/50;G06N3/04;G06N3/08
• 代理公司: 北京睿博行遠知識產權代理有限公司 11297
• 代理人: 龔家驊

1.一種三維人臉模型的生成方法，其特征在于，預先基于訓練數據和預設神經網絡結構生成預設神經網絡模型，所述方法包括：

接收待處理人臉圖像，并基于所述預設神經網絡模型獲取所述待處理人臉圖像的深度信息，所述深度信息包括像素深度，表情系數，像素紋理和球諧光照系數；

根據所述深度信息和預設標準三維人臉模型生成所述待處理人臉圖像的三維人臉模型；

其中，所述訓練數據包括預設人臉圖像和所述預設人臉圖像的真實像素深度、真實表情系數、真實像素紋理和真實球諧光照系數。

2.如權利要求1所述的方法，其特征在于，根據所述深度信息和預設標準三維人臉模型生成所述待處理人臉圖像的三維人臉模型，具體為：

根據所述深度信息生成骨骼信息；

根據所述骨骼信息調整所述預設標準三維人臉模型；

根據所述調整的結果生成所述三維人臉模型。

3.如權利要求1所述的方法，其特征在于，所述預設神經網絡模型的損失函數包括所述待處理人臉圖像與預測圖像的差值，所述預測圖像為所述三維人臉模型在三維場景中的投影圖像。

4.如權利要求1所述的方法，其特征在于，所述預設神經網絡結構中包括殘差網絡塊模型和卷積核，其中，預設數量的殘差網絡塊模型不連接所述預設神經網絡結構的全連接層。

5.如權利要求1所述的方法，其特征在于，所述訓練數據為經過數據增強處理的數據，所述數據增強處理包括增加所述預設人臉圖像的背景和或改變所述預設人臉圖像的旋轉角度。

6.如權利要求3所述的方法，其特征在于，基于訓練數據和預設神經網絡結構生成預設神經網絡模型，具體為：

根據所述預設人臉圖像的長度和寬度確定預設神經網絡結構的初始參數，所述初始參數包括輸入層的單元個數、各隱藏層的輸入數量和輸出數量、初始權重值；

將所述預設人臉圖像輸入所述輸入層，并基于前向傳播算法和所述初始參數確定輸出層結果；

根據所述輸出層結果和所述訓練數據確定所述損失函數；

基于最優化算法與反向傳播算法按預設學習率進行訓練，并根據所述訓練的結果確定所述損失函數的最小損失值，所述預設學習率為基于適應性矩陣估計Adam算法確定的學習率；

根據所述最小損失值對應的權重值確定所述預設神經網絡模型。

7.一種三維人臉模型的生成設備，其特征在于，預先基于訓練數據和預設神經網絡結構生成預設神經網絡模型，所述設備包括：

獲取模塊，用于接收待處理人臉圖像，并基于所述預設神經網絡模型獲取所述待處理人臉圖像的深度信息，所述深度信息包括像素深度，表情系數，像素紋理和球諧光照系數；

生成模塊，用于根據所述深度信息和預設標準三維人臉模型生成所述待處理人臉圖像的三維人臉模型；

其中，所述訓練數據包括預設人臉圖像和所述預設人臉圖像的真實像素深度、真實表情系數、真實像素紋理和真實球諧光照系數。

8.如權利要求7所述的設備，其特征在于，所述生成模塊，具體用于：

根據所述深度信息生成骨骼信息；

根據所述骨骼信息調整所述預設標準三維人臉模型；

根據所述調整的結果生成所述三維人臉模型。

9.如權利要求7所述的設備，其特征在于，所述預設神經網絡模型的損失函數包括所述待處理人臉圖像與預測圖像的差值，所述預測圖像為所述三維人臉模型在三維場景中的投影圖像。

10.如權利要求9所述的設備，其特征在于，還包括訓練模塊，用于：

根據所述預設人臉圖像的長度和寬度確定預設神經網絡結構的初始參數，所述初始參數包括輸入層的單元個數、各隱藏層的輸入數量和輸出數量、初始權重值；

將所述預設人臉圖像輸入所述輸入層，并基于前向傳播算法和所述初始參數確定輸出層結果；

根據所述輸出層結果和所述訓練數據確定所述損失函數；

基于最優化算法與反向傳播算法按預設學習率進行訓練，并根據所述訓練的結果確定所述損失函數的最小損失值，所述預設學習率為基于適應性矩陣估計Adam算法確定的學習率；

根據所述最小損失值對應的權重值確定所述預設神經網絡模型。