[發明專利]一種基于單張人臉圖片的三維人臉重建系統

在審

• 申請號: 202010791969.0
• 申請日: 2020-08-13
• 公開（公告）號: CN111951381A
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 黃章進;錢靜;周健
• 申請（專利權）人: 科大乾延科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06K9/00;G06N3/04;G06N3/08;G06T7/11
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開一種基于單張人臉圖片的三維人臉重建系統，屬于計算機視覺與曲面重建技術領域。針對現有技術中存在的點云重建出的模型較為粗糙，像素層面信息建立的損失函數會導致卷積神經網絡模型陷入局部次優解，三維人臉重建效果不夠魯棒的問題，本發明將人臉圖片先通過檢測模塊進行人臉檢測和特征點檢測，然后通過回歸模塊回歸三維人臉參數，再通過深度人臉特征提取模塊提取人臉圖片在深度卷積層上的特征，所述深度人臉特征提取模塊在深層特征空間建立損失函數，優化卷積神經網絡模型。它可以實現充分利用輸入人臉圖片和渲染人臉圖片在深層特征空間的對應關系，訓練端到端的三維人臉重建回歸網絡，提高三維人臉重建的質量。

技術領域

本發明涉及計算機視覺與曲面重建技術領域，更具體地說，涉及一種基于單張人臉圖片的三維人臉重建系統。

背景技術

在卷積神經網絡(Convolutional Neural Networks,CNNs)出現之后，基于卷積神經網絡的方法在三維人臉重建方面取得了顯著的成功，這些方法通常使用卷積神經網絡來預測三維形變模型(3D Morphable Model,3DMM)的系數。

三維形變模型采用網格模型，和點云模型相比，網格模型擁有更好的人臉先驗拓撲關系，顯著提高了三維人臉重建的質量和效率。基于卷積神經網絡的方法通常需要大量的數據集。這些數據集采集往往代價較高，甚至在很多場景下無法實現。最近一些方法使用合成數據進行訓練，也有例如300W-LP這樣的公開合成人臉數據集。但是通過合成方法生成的人臉圖片通常與真實圖片之間存在一定的差距，它們在表情、光照、背景方面缺乏多樣性，這往往導致訓練好的卷積神經網絡模型泛化性能較差。

為了解決三維人臉重建數據集缺失的問題，一些最近工作使用弱監督學習的方法。這些方法僅需要二維人臉圖片以及其對應的二維人臉特征點。使用此方法，經過訓練的三維人臉重建模型可以很好地進行三維人臉重建以及密集三維人臉對齊。現階段很容易獲得帶有二維人臉特征點的人臉圖片數據集，因此可以建立大量訓練集以滿足卷積神經網絡的需要。此外，這些二維人臉特征點也可以提供很有價值的人臉信息。目前使用弱監督的三維人臉重建方法的關鍵是使用一種可微分渲染器將重建好的三維人臉渲染到像素層面，并且比較該渲染后圖片與輸入圖片之間的差異。例如Tewari等人在‘Self-supervisedmulti-level face model learning for monocular reconstruction at over 250Hz’(《超250赫茲單目重建的自我監督多層次人臉模型學習》)和‘Mofa:Model-based deepconvolutional face autoencoder for unsupervised monocular reconstruction’(《Mofa：用于無監督單目重建的基于模型的深度卷積人臉自動編碼器》)論文中使用渲染后圖片與輸入圖片在像素顏色之間的差異建立損失函數；Genova等人在‘Unsupervisedtraining for 3d morphable model regression’(《三維形變模型回歸的無監督訓練》)論文中使用人臉識別網絡來建立渲染后圖片與輸入圖片之間的損失。

現有技術中由于點云數據缺乏點與點之間的拓撲關系，通過點云進行三維人臉重建的方法計算量大，重建出的模型較為粗糙。僅使用像素層面的信息建立損失函數，往往會導致卷積神經網絡模型陷入局部次優解，且在人臉角度較大的圖片上進行三維人臉重建效果不夠魯棒，三維人臉重建質量不高。

發明內容

針對現有技術中存在的點云重建出的模型較為粗糙，像素層面信息建立的損失函數會導致卷積神經網絡模型陷入局部次優解，人臉角度較大的圖片上進行三維人臉重建效果不夠魯棒的問題，本發明提供一種基于單張人臉圖片的三維人臉重建系統，它可以實現充分利用輸入人臉圖片和渲染人臉圖片在深層特征空間的對應關系，訓練端到端的三維人臉重建回歸網絡，提高三維人臉重建的質量，且只需用單張二維人臉圖片作為網絡輸入，流程簡便易于實現.本發明的目的通過以下技術方案實現。