[發(fā)明專利]一種三維人臉模型自動調(diào)整方法

在審

• 申請?zhí)枺?/td>: 201710673329.8
• 申請日: 2017-08-09
• 公開（公告）號: CN109389682A
• 公開（公告）日: 2019-02-26
• 發(fā)明（設(shè)計）人: 張德峰
• 申請（專利權(quán)）人: 上海影子智能科技有限公司
• 主分類號: G06T17/20
• 分類號: G06T17/20
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種三維人臉模型的自動調(diào)整方法，其特征在于：包括以下步驟：

(1)三維掃描儀獲取三維人臉模型后，從三個角度獲取三維人臉帶紋理的投影圖；

(2)利用OpenFace的API對步驟(1)中獲取的人臉投影圖進行特征點檢測，獲取二維圖像上眼睛、鼻子、嘴、眉毛和臉部輪廓的共68個特征點；

(3)對步驟(2)中獲取的二維圖像中的特征點反投影到三維模型上，獲取三維模型的特征點；

(4)使用PCA臉部模型擬合原始的三維人臉模型，利用PCA臉部模型特征點與步驟(3)中獲取的三維特征點對應來增加擬合精度，得到初始對齊網(wǎng)格；

(5)對步驟(4)中生成的初始對齊網(wǎng)格進行3D配準，通過求解能量方程得到最終對齊網(wǎng)格；

(6)對步驟(5)中得到的最終對齊網(wǎng)格重新計算紋理坐標，得到配準后的三維人臉模型；

(7)對步驟(6)中得到的配準后的三維人臉模型進行美化調(diào)整，得到調(diào)整后的三維人臉模型。

2.如權(quán)利要求1所述的三維人臉模型的自動調(diào)整方法，其特征在于：步驟(1)中獲取三個角度投影圖的方法如下：

(2-1)先將三維掃描儀獲取的三維人臉模型放置于指定的空間坐標系中，使z軸正方向與人臉的正面方向一致，y軸正方向與人臉的頭頂方向一致，提取正方向人臉帶紋理的投影圖；

(2-2)將人臉以y軸為旋轉(zhuǎn)軸，視線沿著y軸正方向順時針旋轉(zhuǎn)15度，提取右側(cè)人臉帶紋理的投影圖；

(2-3)將人臉以y軸為旋轉(zhuǎn)軸，視線沿著y軸正方向逆時針旋轉(zhuǎn)30度，提取左側(cè)人臉帶紋理的投影圖。

3.如權(quán)利要求1所述的三維人臉模型的自動調(diào)整方法，其特征在于：步驟(2)中使用OpenFace的API對步驟(1)中獲取的三個角度人臉投影圖分別識別出人臉68個特征點，其中眉毛區(qū)域特征點、鼻子區(qū)域特征點、嘴唇區(qū)域特征點和下頜特征點從人臉正臉投影圖中檢測出的特征點獲取，左側(cè)臉頰區(qū)域的特征點從左側(cè)人臉投影圖中檢測出的特征點獲取，右側(cè)臉頰區(qū)域的特征點從右側(cè)人臉投影圖中檢測出的特征點獲取。

4.如權(quán)利要求1所述的三維人臉模型的自動調(diào)整方法，其特征在于：步驟(3)中將二維特征點反投影到三維特征點的方法如下：根據(jù)眼睛、鼻子、嘴、眉毛、臉部輪廓特征點在二維投影中的位置，獲取當前角度下投影到當前像素點對應的三維網(wǎng)格上的點，并計算在三維人臉上離該點最近的三維頂點，將這個頂點作為二維特征點對應的三維特征點。

5.如權(quán)利要求1所述的三維人臉模型的自動調(diào)整方法，其特征在于：步驟(4)中使用PCA臉部模型擬合原始的三維人臉模型方法如下：

(5-1)使用PCA臉部模型方法對200張3D掃描的人臉模型訓練得到PCA臉部模型；

(5-2)在PCA臉部模型上標記好68個用于三維配準的特征點和55個用于人臉美化的特征點；

(5-3)用PCA模型擬合原始的三維人臉模型，并利用PCA臉部模型的三維配準特征點與步驟(3)中獲取的三維特征點對應來增加擬合精度，得到初始對齊網(wǎng)格。

6.如權(quán)利要求1所述的三維人臉模型的自動調(diào)整方法，其特征在于：步驟(5)為獲取更高精度，對步驟(4)中生成的初始對齊網(wǎng)格進行3D配準得到最終對齊網(wǎng)格設(shè)置的能量方程式如下：

其中：

表示最終網(wǎng)格上的點到原始網(wǎng)格上的對應點距離的平方和；

表示最終網(wǎng)格上的點到根據(jù)PCA擬合出的人臉模型對應點的距離平方和，其中表示PCA矩陣基底的第到行，表示各個主元的權(quán)值，表示平均人臉的第個頂點的坐標；

表示最終網(wǎng)格上每條邊到初始網(wǎng)格經(jīng)過局部剛性變換后邊的距離平方和，其中表示第個頂點的旋轉(zhuǎn)矩陣。