[發明專利]一種三維人臉模型的生成方法和設備

在審

• 申請號: 202010621329.5
• 申請日: 2020-06-30
• 公開（公告）號: CN111951372A
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 徐博
• 申請（專利權）人: 重慶靈翎互娛科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/50;G06N3/04;G06N3/08
• 代理公司: 北京睿博行遠知識產權代理有限公司 11297
• 代理人: 龔家驊

本發明公開了一種三維人臉模型的生成方法和設備，預先基于訓練數據和預設神經網絡結構生成預設神經網絡模型，該方法包括接收待處理人臉圖像，并基于預設神經網絡模型獲取待處理人臉圖像的深度信息，所述深度信息包括像素深度、表情系數、像素紋理和球諧光照系數，根據深度信息和預設標準三維人臉模型生成待處理人臉圖像的三維人臉模型，其中，所述訓練數據包括預設人臉圖像和預設人臉圖像的真實像素深度、真實表情系數、真實像素紋理和真實球諧光照系數，從而在不增加成本的基礎上提高獲取人臉圖像的深度信息的準確度，進而提高生成的三維人臉模型與人臉圖像的相似度。

技術領域

本申請涉及圖像處理技術領域，更具體地，涉及一種三維人臉模型的生成方法和設備。

背景技術

通過相機掃描人臉形成3D人臉重建的過程中，需要獲得人臉的深度信息去還原人臉模型。

現有技術中為了獲得人臉的深度信息，通常需要引入深度探測感應系統，如FaceID中的原深感攝像頭系統，這類系統需要紅外鏡頭、泛光感應元件、距離感應器、環境光感應器、點陣投影器等元件相互配合運行。這樣一來，就造成了通用性缺陷。這種方式一方面會受到相機的型號和操作系統的限制，另一方面相機設備的成本代價高昂。

現有技術還有通過相機的移動來確定目標的空間和幾何關系，是三維重建的一種常見方法。最具代表性的是基于SFM(Structure From Motion，運動恢復結構)的方法。它只需要普通的RGB攝像頭即可，因此成本更低廉，且受環境約束較小。缺點主要體現在3個方面。首先是穩定性差，當不同角度的照片特征點匹配不足時無法生成有效的3維結構。再則計算速度慢，需要對每張照片進行提取特征點，匹配特征點，矩陣估計和點云計算等操作。最后是深度的準確性達不到要求。由于人臉是一個深度敏感的區域，即要求表面光滑，還需要精確的深度信息。否則會對3D人臉的效果和是否與拍照人相似程度產生重大負面影響。

因此，如何在不增加成本的基礎上提高獲取人臉圖像的深度信息的準確度，進而提高生成的三維人臉模型與人臉圖像的相似度，是目前有待解決的技術問題。

發明內容

本發明提供一種三維人臉模型的生成方法和設備，用以解決現有技術中獲取人臉圖像的深度信息成本高或準確度低的技術問題，預先基于訓練數據和預設神經網絡結構生成預設神經網絡模型，所述方法包括：

接收待處理人臉圖像，并基于所述預設神經網絡模型獲取所述待處理人臉圖像的深度信息，所述深度信息包括像素深度，表情系數，像素紋理和球諧光照系數；

根據所述深度信息和預設標準三維人臉模型生成所述待處理人臉圖像的三維人臉模型；

其中，所述訓練數據包括預設人臉圖像和所述預設人臉圖像的真實像素深度、真實表情系數、真實像素紋理和真實球諧光照系數。

優選地，根據所述深度信息和預設標準三維人臉模型生成所述待處理人臉圖像的三維人臉模型，具體為：

根據所述深度信息生成骨骼信息；

根據所述骨骼信息調整所述預設標準三維人臉模型；

根據所述調整的結果生成所述三維人臉模型。

優選地，所述預設神經網絡模型的損失函數包括所述待處理人臉圖像與預測圖像的差值，所述預測圖像為所述三維人臉模型在三維場景中的投影圖像。

優選地，所述預設神經網絡結構中包括殘差網絡塊模型和卷積核，其中，預設數量的殘差網絡塊模型不連接所述預設神經網絡結構的全連接層。

優選地，所述訓練數據為經過數據增強處理的數據，所述數據增強處理包括增加所述預設人臉圖像的背景和或改變所述預設人臉圖像的旋轉角度。

優選地，基于訓練數據和預設神經網絡結構生成預設神經網絡模型，具體為：