[發明專利]一種3D人臉重建方法

有效

• 申請號: 202110449423.1
• 申請日: 2021-04-25
• 公開（公告）號: CN113129432B
• 公開（公告）日: 2023-10-10
• 發明（設計）人: 陳力軍;劉佳;陳明睿;汪付星
• 申請（專利權）人: 南京大學;江蘇圖客機器人有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T11/00;G06V40/16
• 代理公司: 蘇州創元專利商標事務所有限公司 32103
• 代理人: 陳晨;郭小紅

1.一種3D人臉重建方法，其特征在于，所述方法包括：將同一人的若干2D圖片組成圖片集，使用人臉關鍵點檢測器檢測圖片集中某一圖片所包含的若干第一關鍵點的位置坐標，并組成第一關鍵點矩陣；手動標記出3DMM模型中的若干第二關鍵點，將其坐標組成第二關鍵點矩陣；對所述第二關鍵點矩陣進行投影變換獲得第三關鍵點矩陣，將所述第一關鍵點矩陣與所述第三關鍵點矩陣進行擬合，得到人臉姿態和人臉形狀，組成粗略的3D人臉模型；估計某一圖片對應的環境光照及人臉紋理；處理環境光照并識別高光反射區域；計算粗略的3D人臉模型中每一頂點的可依賴性；計算精確的人臉法向量及人臉紋理；通過精確的法向量重建曲面，獲得精確的3D人臉模型。

2.根據權利要求1所述的方法，其特征在于，所述3DMM模型為BFM2019。

3.根據權利要求1所述的方法，其特征在于，所述擬合的方法包括：估計所述人臉姿態；對所述第二關鍵點進行遷移；計算所述人臉形狀；其中，所述人臉姿態通過計算旋轉矩陣和平移向量得到；所述人臉形狀通過計算形狀向量和表情向量得到。

4.根據權利要求1所述的方法，其特征在于，所述方法還包括：所述環境光照近似為單色光照，計算3D人臉網絡中任一頂點的圖像強度與第二正交基內積的平方與所述圖像強度與第三正交基內積的平方之和，若其大于第一閾值，則判斷所述頂點屬于高光反射區域。

5.根據權利要求1所述的方法，其特征在于，所述方法還包括：所述環境光照分解為雙色光照，計算3D人臉網絡中任一頂點的圖像強度與第五正交基內積的平方與所述圖像強度與第六正交基內積的平方之和，若其大于第二閾值，則判斷所述頂點屬于高光反射區域。

6.根據權利要求4-5任一項所述的方法，其特征在于，所述計算粗略的3D人臉模型中每一頂點的可依賴性的方法包括：將背對相機的頂點的可依賴性定義為零；將被遮擋部分所包含頂點的可依賴性定義為零；將所述高光反射區域所包含頂點的可依賴性定義為零；令人臉其他部分所包含頂點的可依賴性正比于所述頂點的鄰域面積在圖像平面的投影。