[發明專利]一種基于單張人臉圖片的三維人臉重建系統

在審

• 申請號: 202010791969.0
• 申請日: 2020-08-13
• 公開（公告）號: CN111951381A
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 黃章進;錢靜;周健
• 申請（專利權）人: 科大乾延科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06K9/00;G06N3/04;G06N3/08;G06T7/11
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于單張人臉圖片的三維人臉重建系統，其特征在于，包括檢測模塊、回歸模塊和深度人臉特征提取模塊，人臉圖片先通過檢測模塊進行人臉檢測和特征點檢測，然后通過回歸模塊回歸三維人臉參數，訓練時通過深度人臉特征提取模塊提取的人臉圖片在深度卷積層上的特征改進回歸模塊的重建效果。

2.根據權利要求1所述的一種基于單張人臉圖片的三維人臉重建系統，其特征在于，所述深度人臉特征提取模塊采用深度人臉特征模型，將輸入人臉圖片和三維人臉模型渲染得到的圖片同時輸入到深度人臉特征模型中，在深層特征空間建立損失函數，優化卷積神經網絡模型。

3.根據權利要求2所述的一種基于單張人臉圖片的三維人臉重建系統，其特征在于，所述損失函數為：

L_loss(x)＝ω_landL_land(x)+ω_photoL_photo(x)+ω_dffL_dff(x)+ω_regL_reg(x)，

其中，x表示三維人臉參數，L_land(x)為特征點對齊的損失函數，L_photo(x)為像素之間差異的損失函數，L_dff(x)為深度人臉特征(DFF)模型在深層特征空間建立的損失函數，L_reg(x)為正則化項，ω_land、ω_photo、ω_dff和ω_reg均為損失函數的權重系數。

4.根據權利要求3所述的一種基于單張人臉圖片的三維人臉重建系統，其特征在于，深度人臉特征模型在深層特征空間建立的損失函數為其中i包括1至68的自然數，表示人臉特征點，和分別為人臉特征點在特征圖D和特征圖D’中對應的特征向量，f_i∈{0，1}為人臉特征點的可見性權重。

5.根據權利要求4所述的一種基于單張人臉圖片的三維人臉重建系統，其特征在于，人臉特征點可見時可見性權重f_i＝1，人臉特征點不可見時可見性權重f_i＝0。

6.根據權利要求3所述的一種基于單張人臉圖片的三維人臉重建系統，其特征在于，損失函數的權重系數中，ω_land＝400、ω_photo＝100、ω_dff＝10^-6以及ω_reg＝1。

7.根據權利要求2所述的一種基于單張人臉圖片的三維人臉重建系統，其特征在于，深度人臉特征提取模塊使用全透視投影經過一個可微分的渲染器將重建出的三維人臉模型渲染到二維平面上。

8.根據權利要求1所述的一種基于單張人臉圖片的三維人臉重建系統，其特征在于，所述回歸模塊采用VGG-16卷積神經網絡回歸出人臉圖片對應的三維人臉參數。

9.根據權利要求8所述的一種基于單張人臉圖片的三維人臉重建系統，其特征在于，所述三維人臉參數包括三維形變模型形狀參數、三維形變模型紋理參數、三維形變模型表情參數、相機旋轉參數、相機平移參數和球諧光照系數。

10.根據權利要求1所述的一種基于單張人臉圖片的三維人臉重建系統，其特征在于，所述檢測模塊采用Dlib作為人臉檢測算法，使用2D-to-3D-FAN(二維至三維人臉對齊網絡，2D-to-3D Face Alignment Network)進行特征點檢測。