[發明專利]三維人臉模型重建方法及裝置

在審

• 申請號: 201810690747.2
• 申請日: 2018-06-28
• 公開（公告）號: CN109035388A
• 公開（公告）日: 2018-12-18
• 發明（設計）人: 戶磊
• 申請（專利權）人: 北京的盧深視科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/04
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;李相雨

1.一種三維人臉模型重建方法，其特征在于，包括：

S1、獲取待處理的人臉深度圖和人臉彩色圖，將所述待處理的人臉深度圖和人臉彩色圖輸入預先訓練好的粗學習網絡，得到參數化三維人臉模型系數，根據所述參數化三維人臉模型系數確定初始的三維人臉模型；

S2、將所述初始的三維人臉模型和人臉彩色圖上的亮度值轉化成4通道的UV圖片，將所述UV圖片輸入預先訓練好的細學習網絡，得到待重建的三維人臉模型的各個網格點在各自法線方向上的偏移；

S3、根據所述參數化三維人臉模型系數和所述各個網格點在各自法線方向上的偏移重建三維人臉模型。

2.根據權利要求1所述的方法，其特征在于，在所述S1之前，還包括：

訓練所述粗學習網絡，其中，所述粗學習網絡的loss函數為：

上式中w_col,w_lan，w_reg，w_flo，w_sam用來調節各項的權重，

E_geo(χ)＝w_pp×E_pp(χ)+w_ps×E_ps(χ)，

χ＝{α_id,α_exp,α_alb,z,pitch,yaw,roll,t,γ}表示參數化三維人臉模型系數，其中，α_id指身份基系數，α_exp指表情基系數,α_alb指反射率基系數，pitch代表圍繞X軸旋轉的歐拉角,yaw代表圍繞Y軸旋轉的歐拉角,roll代表圍繞Z軸旋轉的歐拉角，t＝(t_x,t_y,t_z)指平移向量，t_x、t_y和t_z分別表示X軸、Y軸和Z軸上的平移量，γ＝(γ_r,γ_g,γ_b)，γ_r、γ_g和γ_b分別表示圖片在r、g和b通道上的光照系數，

w_pp和w_ps用于調節權重，

F表示由三維模型投影到圖片上后確定的人臉區域，p_syn(m)是像素點m對應的三維網格點坐標，p_real(m′)是點云上距離p_syn(m)最近一個點的三維坐標，m′表示該點在深度圖上的位置，是深度圖上m′處的單位法向量，

I_syn(m)表示像素點m處的合成紋理，I_real(m)表示彩色圖上像素點m處的實際紋理，

L表示所有當前可見關鍵點編號的集合，q_i表示彩色圖上檢測到的第i個關鍵點的圖像坐標，p_i表示重建模型上對應q_i的三維關鍵點的三維坐標，R為旋轉矩陣，∏表示透視投影，

α_id,j和σ_id,j分別為第j個身份基的系數、第j個身份基的特征值，J為身份基的個數，α_alb,k和σ_alb,k分別為第k個反射率基的系數、第k個反射率基的特征值，K為反射率基的個數，α_exp,m和σ_exp,m分別為第j個表情基的系數、第j個表情基的特征值，M為表情基的個數，

p表示了像素點m對應三維點在三維模型上的相對位置信息，Proj_n(p)是根據第n幀參數化模型系數χ_n里的(α_id,α_exp,z)計算出三維模型形狀后，再根據第n幀參數化模型系數χ_n里的姿態信息(pitch,yaw,roll,t)投影后計算出來的在圖像平面里的位置，f(m)是像素點m從第n-1幀圖片上的位置移動到第n幀圖片上的位置的光流。

這里χ_n1,χ_n2分別表示同一個人第n1幀照片、第n2幀照片對應的參數化模型系數，

α_id,n1,α_id,n2分別表示同一個人第n1幀照片、第n2幀照片對應的身份基系數，α_alb,n1,α_alb,n2分別表示同一個人第n1幀照片、第n2幀照片對應的反射率基系數。