[發(fā)明專利]一種3D人臉重建方法

有效

• 申請?zhí)枺?/td>: 202110449423.1
• 申請日: 2021-04-25
• 公開（公告）號: CN113129432B
• 公開（公告）日: 2023-10-10
• 發(fā)明（設(shè)計）人: 陳力軍;劉佳;陳明睿;汪付星
• 申請（專利權(quán)）人: 南京大學;江蘇圖客機器人有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T11/00;G06V40/16
• 代理公司: 蘇州創(chuàng)元專利商標事務(wù)所有限公司 32103
• 代理人: 陳晨;郭小紅

本發(fā)明涉及一種3D人臉重建方法，包括：將同一人的若干圖片組成圖片集，使用人臉關(guān)鍵點檢測器檢測圖片集中某一圖片所包含的若干第一關(guān)鍵點的位置坐標，組成第一關(guān)鍵點矩陣；手動標記出3DMM模型中的若干第二關(guān)鍵點，將其坐標組成第二關(guān)鍵點矩陣；對第二關(guān)鍵點矩陣進行投影變換獲得第三關(guān)鍵點矩陣，將第一關(guān)鍵點矩陣與第三關(guān)鍵點矩陣進行擬合，得到人臉姿態(tài)和人臉形狀，組成粗略的3D人臉模型；估計某一圖片對應(yīng)的環(huán)境光照及人臉紋理；處理環(huán)境光照并識別高光反射區(qū)域；計算3D人臉模型中每一頂點的可依賴性；計算精確的人臉法向量及人臉紋理；通過精確的法向量重建曲面，獲得精確的3D人臉模型。利用本發(fā)明方法能夠在非控制條件下獲得精確的3D人臉模型。

技術(shù)領(lǐng)域

本發(fā)明涉及三維重建算法領(lǐng)域，具體涉及一種3D人臉重建方法。

背景技術(shù)

3D人臉重建是指通過一張或多張2D圖片計算得到對應(yīng)的3D人臉模型。3D人臉重建技術(shù)在電影、虛擬現(xiàn)實、游戲、安防等行業(yè)具有重要應(yīng)用，例如，人臉識別、人臉動畫、稠密關(guān)鍵點檢測等技術(shù)。現(xiàn)有技術(shù)中，3D人臉重建主要是通過以下步驟實現(xiàn)：如圖1所示，第一步是識別2D圖片中人臉關(guān)鍵點并用參數(shù)化的3D人臉模型擬合，即修改3D人臉模型中的參數(shù)來使3D人臉模型中的關(guān)鍵點和2D圖片中的人臉關(guān)鍵點匹配得到較為粗略的3D人臉模型；第二步通過光度立體法估計環(huán)境光照、人臉紋理(即人臉本身的顏色)，并計算人臉上每一點的法向量；第三步即對上述法向量做積分獲得精細的3D人臉模型。

然而，現(xiàn)有的3D人臉重建算法均是基于人臉圖像在2D圖片中的形成過程只包含漫反射的假設(shè)而設(shè)計的，忽略了室外環(huán)境下還存在極為常見的高光反射。若仍使用現(xiàn)有技術(shù)中的3D人臉重建算法重建人臉，則上述算法會試圖扭曲人臉曲面來讓皮膚在漫反射的假設(shè)下產(chǎn)生明亮的效果，使得人臉重建的最終結(jié)果不準確。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)中存在的問題，本發(fā)明提供一種3D人臉重建方法，能夠在非控制條件下獲得精確的3D人臉重建結(jié)果。

基于上述目的，本發(fā)明的技術(shù)方案如下：

一種3D人臉重建方法，所述方法包括：將同一人的若干2D圖片組成圖片集，使用人臉關(guān)鍵點檢測器檢測圖片集中某一圖片所包含的若干第一關(guān)鍵點的位置坐標，并組成第一關(guān)鍵點矩陣；手動標記出3DMM模型中的若干第二關(guān)鍵點，將其坐標組成第二關(guān)鍵點矩陣；對所述第二關(guān)鍵點矩陣進行投影變換獲得第三關(guān)鍵點矩陣，將所述第一關(guān)鍵點矩陣與所述第三關(guān)鍵點矩陣進行擬合，得到人臉姿態(tài)和人臉形狀，組成粗略的3D人臉模型；估計某一圖片對應(yīng)的環(huán)境光照及人臉紋理；處理環(huán)境光照并識別高光反射區(qū)域；計算粗略的3D人臉模型中每一頂點的可依賴性；計算精確的人臉法向量及人臉紋理；通過精確的法向量重建曲面，獲得精確的3D人臉模型。

其中，所述3DMM模型為BFM2019。所述擬合的方法包括：估計所述人臉姿態(tài)；對所述第二關(guān)鍵點進行遷移；計算所述人臉形狀；其中，所述人臉姿態(tài)通過計算旋轉(zhuǎn)矩陣和平移向量得到；所述人臉形狀通過計算形狀向量和表情向量得到。

其中，所述環(huán)境光照近似為單色光照，計算3D人臉網(wǎng)絡(luò)中任一頂點的圖像強度與第二正交基內(nèi)積的平方與所述圖像強度與第三正交基內(nèi)積的平方之和，若其大于第一閾值，則判斷所述頂點屬于高光反射區(qū)域。

其中，所述環(huán)境光照分解為雙色光照，計算3D人臉網(wǎng)絡(luò)中任一頂點的圖像強度與第五正交基內(nèi)積的平方與所述圖像強度與第六正交基內(nèi)積的平方之和，若其大于第二閾值，則判斷所述頂點屬于高光反射區(qū)域。

其中，所述計算粗略的3D人臉模型中每一頂點的可依賴性的方法包括：將背對相機的頂點的可依賴性定義為零；將被遮擋部分所包含頂點的可依賴性定義為零；將所述高光反射區(qū)域所包含頂點的可依賴性定義為零；令人臉其他部分所包含頂點的可依賴性正比于所述頂點的鄰域面積在圖像平面的投影。

本發(fā)明具有以下有益效果：