[發明專利]一種基于級聯回歸網絡的單張圖片三維人臉重建方法

有效

• 申請號: 201810179206.3
• 申請日: 2018-03-05
• 公開（公告）號: CN108399649B
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 張剛;韓琥;張杰;山世光;陳熙霖
• 申請（專利權）人: 中科視拓（北京）科技有限公司
• 主分類號: G06T15/20
• 分類號: G06T15/20;G06T3/40
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于級聯回歸網絡的單張圖片三維人臉重建方法，整體步驟為：一、數據準備：采集三維人臉數據，獲取人臉圖片的三維人臉形狀點云；二、模型設計：構建包含兩級多任務卷積神經網絡的網絡模型，并逐級回歸人臉特征，然后提取改進形狀特征；三、模型訓練：分別對兩級多任務卷積神經網絡進行訓練，獲得多任務級聯回歸卷積神經網絡M；四、模型測試：將圖像I輸入到多任務級聯回歸卷積神經網絡M中，進行模型測試。本發明采用多任務級聯回歸卷積神經網絡，逐級回歸三維人臉形狀、人臉特征點以及人臉姿態，同時改進了傳統的特征提取方法，通過計算特征點的可見性，消除了二維人臉圖片上特征點的混淆性，使得該方法對大姿態更加魯棒。

技術領域

本發明涉及一種三維人臉重建方法，尤其涉及一種基于級聯回歸網絡的單張圖片三維人臉重建方法。

背景技術

三維人臉重建的目標是根據輸入的二維人臉圖片，重建其相應的三維人臉形狀。該技術廣泛應用于人臉動畫，人臉表情分析以及三維人臉識別等領域。目前關于三維人臉重建的代表方法有：

(1)基于三維人臉模型的單張圖片三維人臉重建方法，主要技術手段為：基于二維人臉數據庫采用SDM(Supervised Descent Method，監督下降方法)算法訓練得到二維人臉特征點參數模型?；趩螐堈嬲盏倪M行人臉重建時，首先使用二維圖片特征點參數模型提取人臉特征點；然后，根據三維人臉統計模型，使用學習因子自適應梯度下降法對能量函數進行迭代優化，得到統計模型參數化向量，即得到二維人臉圖片對應的三維人臉模型。該方法的缺陷有：在大姿態下一些人臉特征點不可見，影響三維人臉形變模型的參數求解精度；另一方面，該方法僅僅用到了人臉特征點的信息，沒有利用整張人臉圖片的信息。

(2)基于深度神經網絡的端到端三維人臉重建方法，主要技術手段為：采用3D面部形狀子空間模型，并將3D面部作為一組形狀和混合形狀基線的線性組合，基于VGG網絡的臉部模型添加了子卷積神經網絡(融合CNN)用于回歸表達參數，以及用于身份參數預測和表達參數預測的多任務學習損失函數。該方法一次性直接回歸三維人臉統計模型的參數，沒有對三維人臉形狀進行逐級回歸，因此對人臉的細節部分展現的不夠完善。

(3)基于立體視覺的三維人臉重建方法，主要技術手段為：使用兩臺攝像機從兩個不同角度同時各拍攝人臉的一幅圖像，分別對兩臺攝像機的內、外參數矩陣進行標定。根據標定數據進行對極線校正和圖像變換，然后利用Harris角點檢測算子提取人臉特征點，并利用局部模板窗口方法以及極線約束進行初始匹配。從初始匹配集合出發，利用種子點增長算法得到稀疏匹配集合，利用稀疏匹配集合作為引導點，執行動態規劃算法完成稠密匹配。根據標定數據和匹配關系計算人臉上實際物點的三維坐標，從而重建出人臉的三維人臉形狀點云。該方法沒有對人臉特征點的三維坐標做進一步回歸，所以魯棒性較差。

基于現有的三維人臉重建方法仍然存在上述的各種問題，開發一種對大姿態更加魯棒、可重構人臉細節的新方法將具有重要的現實意義。

發明內容

為了解決上述技術所存在的不足之處，本發明提供了一種基于級聯回歸網絡的單張圖片三維人臉重建方法。

為了解決以上技術問題，本發明采用的技術方案是：一種基于級聯回歸網絡的單張圖片三維人臉重建方法，整體步驟如下：

步驟一、數據準備：

a、用3D掃描儀采集三維人臉數據，包括每個視角的二維人臉圖片、每個視角的人臉姿態、三維人臉形狀點云、68個特征點標注以及三維人臉形狀點云的三角關系；

b、將采集得到的人臉圖片做人臉檢測，裁剪人臉圖片，同時根據人臉姿態對三維人臉形狀點云做處理，得到對應于裁剪后人臉圖片的三維人臉形狀點云；

步驟二、模型設計：

a、構建包含兩級多任務卷積神經網絡(即第一級網絡和第二級網絡)的網絡模型，并逐級回歸三維人臉形狀、人臉特征點的三維坐標以及人臉姿態的角度；