[發(fā)明專利]基于RGB單圖實時人臉三維圖像重建方法、裝置及電子設備

在審

• 申請?zhí)枺?/td>: 202110008709.6
• 申請日: 2021-01-05
• 公開（公告）號: CN112734910A
• 公開（公告）日: 2021-04-30
• 發(fā)明（設計）人: 劉志輝;張毓峰
• 申請（專利權）人: 廈門美圖之家科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T15/00;G06K9/00;G06K9/62;G06N20/00
• 代理公司: 北京清大紫荊知識產(chǎn)權代理有限公司 11718
• 代理人: 張卓

本申請實施例中提供了一種基于RGB單圖實時人臉三維圖像重建方法、裝置及電子設備，所述方法包括接收單張RGB單圖；將RGB單圖輸入至由人臉圖像2D數(shù)據(jù)與人臉3D數(shù)據(jù)作為訓練集且采用不同的損失監(jiān)督方式訓練得到人臉三維重建網(wǎng)絡；將人臉三維重建網(wǎng)絡中解碼得到的UV形狀圖與UV紋理圖組合得到重建后的人臉，通過模型變換矩陣渲染得到人臉三維圖像。述方法還包括：對人臉三維重建網(wǎng)絡的輸出進行降維系數(shù)化，通過小模型學習人臉三維重建網(wǎng)絡模型的擬合系數(shù)，得到實時人臉三維重建模型，在手機端實現(xiàn)實時高精度的人臉三維的重建。通過本申請的處理方案，提高了三維稠密人臉點的實時預測精度，提高了基于RGB單圖實時人臉三維圖像重建效果與速度。

技術領域

本申請涉及人臉三維重建技術領域，尤其涉及一種基于RGB單圖實時人臉三維圖像重建方法、裝置及電子設備。

背景技術

隨著計算機技術的快速發(fā)展,實時人臉三維重建有著非常廣泛的應用,已經(jīng)被大量應用于各行各業(yè)，例如三維上妝，表情驅動，人臉識別，醫(yī)療美容等等。在人臉三維重建技術領域，如何重建出精度高且具有真實感的人臉三維模型,這一極具挑戰(zhàn)性的難題一直困擾著廣大的科研學者。相比于二維平面,立體圖形最大的優(yōu)勢在于它能反映更多的空間信息,這是二維平面所不具備的。因而越來越多的學者意識其可挖掘的應用價值和廣泛的應用前景,也因此人臉三維重建技術目前已成為計算機視覺領域最受歡迎的研究方向之一。如今不少學者都在借助形變模型來研究人臉三維重建技術。目前三維人臉重建方法可大致分為基于硬件儀器掃描的方法和基于圖像的重建方法。

使用儀器掃描獲取深度圖雖然可以獲得較高質量的三維人臉模型，但被掃描對象需與掃描儀器進行交互，且掃描期間目標對象需盡可能保持靜止；通過掃描設備掃描得到三維人臉模型后，還需對掃描數(shù)據(jù)進行一系列復雜的處理才能得到較高質量的三維人臉模型。另外該方法依賴于特定的硬件支持，需要深度攝像頭，價格高、操作較復雜性，使該方法難以普及。

基于圖像的重建方法包括基于統(tǒng)計模型的三維人臉重建、基于多視幾何的三維人臉重建、基于光照立體的三維人臉重建以及近年來發(fā)展迅速的基于機器學習的三維人臉重建。基于圖像的重建方法通常通過多視圖的圖片估計深度，需要雙目攝像頭。基于統(tǒng)計模型的三維人臉重建方法依賴于大量的三維人臉數(shù)據(jù)，這些數(shù)據(jù)一般是對掃描得到的人臉模型進行PCA(Principal Components Analysis)處理后獲得的。另外，該方法重建結果嚴重依賴于數(shù)據(jù)庫中的人臉模型，數(shù)據(jù)庫中模型空間有限，限制了重建靈活性。傳統(tǒng)基于多視幾何的方法需獲取不同角度的多張正交人臉圖像，為計算圖像匹配點，首先需足夠多的匹配點數(shù)量，然后匹配精確度也要求很高。而基于機器學習的方法則需要大量三維人臉數(shù)據(jù)用以訓練，其最終重建結果同樣依賴于訓練樣本數(shù)量，與基于統(tǒng)計模型的方法有相同的弊端。當前也存在一些通過單張rgb圖片來估計人臉三維信息的方法，但是，發(fā)明人在研究過程中發(fā)現(xiàn)，一些基于現(xiàn)有的3Dmm模型(bfm)往往精度比較低，無法滿足很多應用需求。另外，存在一些比較精準單圖重建三維方法則依賴于比較大的深度學習網(wǎng)絡，無法滿足手機端實時的需求。

發(fā)明內(nèi)容

有鑒于此，本申請實施例提供一種基于RGB單圖實時人臉三維圖像重建方法、裝置及電子設備，至少部分解決現(xiàn)有技術中存在的問題，能夠在手機端實現(xiàn)實時高精度的人臉三維的重建。

第一方面，本申請實施例提供了一種基于RGB單圖實時人臉三維圖像重建方法，所述方法包括：

接收單張RGB單圖；

將RGB單圖輸入至由人臉圖像2D數(shù)據(jù)與人臉3D數(shù)據(jù)作為訓練集且采用不同的損失監(jiān)督方式訓練得到人臉三維重建網(wǎng)絡；

將人臉三維重建網(wǎng)絡中解碼得到的UV形狀圖與UV紋理圖組合得到重建后的人臉，通過模型變換矩陣渲染得到人臉三維圖像。

根據(jù)本申請實施例的一種具體實現(xiàn)方式，所述人臉圖像2D數(shù)據(jù)中標注稀疏的2D人臉點，所述稀疏的2D人臉點包括五官及輪廓點。