[發(fā)明專利]一種可抗姿態(tài)和表情變化的三維人臉校準(zhǔn)方法

有效

• 申請?zhí)枺?/td>: 201510067374.X
• 申請日: 2015-02-09
• 公開（公告）號: CN104657713B
• 公開（公告）日: 2017-11-24
• 發(fā)明（設(shè)計）人: 胡浩基;劉蓉
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T15/00
• 代理公司: 杭州求是專利事務(wù)所有限公司33200
• 代理人: 邱啟旺

1.一種可抗姿態(tài)和表情變化的三維人臉校準(zhǔn)方法，其特征在于，該方法包括以下步驟：

(1)構(gòu)造主動外觀模型階段，具體包括以下子步驟：

(1.1)采集訓(xùn)練人臉：通過三維圖像獲取設(shè)備獲取中性姿態(tài)的人臉，作為人臉訓(xùn)練庫，手動定位重要標(biāo)記點，并通過掃描人臉與背景的分界線獲得人臉的外輪廓點，得到足夠的標(biāo)記點；

(1.2)生成人臉深度圖：在三維人臉?biāo)谧鴺?biāo)系中，在x-y坐標(biāo)軸上以一定分辨率為間隔建立網(wǎng)格，將z軸坐標(biāo)值采用雙立方插值的方法插值到相應(yīng)x-y網(wǎng)格上，填補空洞，得到三維人臉網(wǎng)格圖，將三維人臉網(wǎng)格圖對x-y坐標(biāo)系投影，z軸坐標(biāo)作為像素值，獲得深度圖，將對應(yīng)的三維標(biāo)記點投影到x-y坐標(biāo)系上，獲得深度圖上標(biāo)記點的二維坐標(biāo)；

(1.3)人臉預(yù)處理：對步驟(1.2)獲取的人臉深度圖進行中值濾波去掉峰值點，進行高斯平滑濾波平滑人臉去除噪聲，降采樣到10萬像素大小范圍內(nèi)的人臉；

(1.4)校準(zhǔn)人臉形狀：由訓(xùn)練人臉?biāo)械臉?biāo)記點構(gòu)成的網(wǎng)格圖表示人臉形狀，采用普式分析的方法將人臉形狀對齊到統(tǒng)一形狀；

(1.5)生成形狀模型：將所有訓(xùn)練人臉的形狀減去統(tǒng)一形狀，并采用主成份分析的方法獲取主成份，作為形狀向量；形狀模型表示如下：

s=s0+Σi=1npisi,pi=si(s-s0)---(1)]]>

其中p_i表示形狀參數(shù)，s₀表示形狀模型的基本形狀，s表示任意形狀模型的實例，s＝(x₁,y₁,x₂,y₂,…,x_v,y_v)^T，s_i(i＝1,2,…,n)表示形狀向量，n表示形狀的維數(shù)，v表示標(biāo)記點的個數(shù)；

(1.6)訓(xùn)練人臉形狀標(biāo)準(zhǔn)化：將基本形狀s₀進行三角形網(wǎng)格化，并將所有訓(xùn)練人臉的外觀根據(jù)其形狀向基本形狀s₀變形，形成具有基本形狀的人臉，其中變形采用分段線性變形方法，即將兩個網(wǎng)格形狀內(nèi)的對應(yīng)三角形進行仿射變換；

(1.7)生成主動外觀模型：將步驟(1.6)形狀標(biāo)準(zhǔn)化的訓(xùn)練人臉，采用主成份分析的方法獲取主成份，作為外觀向量；外觀模型表示如下：

M(x)=A0(x)+Σi=1mλiAi(x),λi=Ai(x)T(M(x)-A0(x))---(2)]]>

其中λ_i表示外觀模型的參數(shù)，M(x)表示任意外觀模型的實例，A₀(x)表示標(biāo)準(zhǔn)外觀模板，A_i(x)(i＝1,2,…,m)表示外觀向量，M(x)、A₀(x)和A_i(x)均為二維圖像，m表示外觀向量的維數(shù)；

(2)測試人臉校準(zhǔn)階段，具體包括以下子步驟：

(2.1)采集人臉測試庫：通過三維圖像獲取設(shè)備獲取不同姿態(tài)及表情變化的三維人臉，作為人臉測試庫；

(2.2)生成人臉深度圖：對于測試庫中所有三維人臉，在三維人臉?biāo)谧鴺?biāo)系中，在x-y坐標(biāo)軸上以一定分辨率為間隔建立網(wǎng)格，將z軸坐標(biāo)值采用雙立方插值的方法插值到相應(yīng)x-y網(wǎng)格上，填補空洞，得到三維人臉網(wǎng)格圖，將三維人臉網(wǎng)格圖對x-y坐標(biāo)系投影，z軸坐標(biāo)作為像素值，獲得深度圖；

(2.3)人臉預(yù)處理：對步驟(2.2)獲取的人臉深度圖進行中值濾波去掉峰值點，進行高斯平滑濾波平滑人臉去除噪聲，降采樣到10萬像素大小范圍內(nèi)的人臉；

(2.4)人臉粗校準(zhǔn)，具體子步驟如下：

(2.4.1)在訓(xùn)練庫中選擇中性姿態(tài)和中性表情的人臉，以鼻尖點為基準(zhǔn)進行疊加并平均，得到平均臉，從平均臉上分割出鼻子區(qū)域，作為平均鼻子模型；

(2.4.2)將測試庫中所有的三維人臉以旋轉(zhuǎn)角度β繞Y軸旋轉(zhuǎn)，得到一系列旋轉(zhuǎn)后的三維人臉；其中β∈[-90°,90°]，以6°為步長，每張測試庫中的人臉均有R＝31個旋轉(zhuǎn)角度；旋轉(zhuǎn)公式如下：

xiβyiβziβ=cosβ0sinβ010-sinβ0cosβxiyizi---(3)]]>

其中，某三維坐標(biāo)點表示為(x_i,y_i,z_i)(i＝1,2,…,N)，對應(yīng)輸出的旋轉(zhuǎn)坐標(biāo)點為根據(jù)步驟(2.2)中的方法，將旋轉(zhuǎn)后的三維人臉轉(zhuǎn)化為深度圖；

(2.4.3)將步驟(2.4.2)得到的人臉深度圖與步驟(2.4.1)得到的平均鼻子模型進行以標(biāo)準(zhǔn)互相關(guān)為準(zhǔn)則的模板匹配，得到標(biāo)準(zhǔn)互相關(guān)圖；

(2.4.4)計算標(biāo)準(zhǔn)互相關(guān)圖的最大相關(guān)系數(shù)，最大相關(guān)系數(shù)在標(biāo)準(zhǔn)互相關(guān)圖中的位置為鼻子區(qū)域所在位置，獲得對應(yīng)的鼻尖點及旋轉(zhuǎn)角度β_t；

(2.4.5)根據(jù)式(3)以旋轉(zhuǎn)角度β_t繞Y軸旋轉(zhuǎn)測試人臉，進行粗校準(zhǔn)；

(2.4.6)以檢測的鼻尖點為圓心以人臉寬度為直徑作圓分割出人臉的有效區(qū)域；

(2.5)將經(jīng)過粗校準(zhǔn)的人臉與主動外觀模型進行匹配，設(shè)置目標(biāo)函數(shù)，通過迭代的方式計算模型的參數(shù)，最小化目標(biāo)函數(shù)可表示為：

argminp,λ||I(W(x;p))-A0(x)-Aλ||2---(4)]]>

其中W(x；p)表示分段線性變形函數(shù)，I為測試人臉深度圖，A＝[A₁,A₂,...,A_m]表示外觀向量的組合，λ＝[λ₁,λ₂,...,λ_m]表示外觀參數(shù)的組合；

(2.6)采用反向融合方式通過迭代搜索進行參數(shù)更新直到目標(biāo)函數(shù)收斂，具體子步驟如下：

(2.6.1)預(yù)計算：計算標(biāo)準(zhǔn)外觀模板A₀(x)及外觀向量A_i(i＝1,2,…,m)的梯度計算W(x；p)在p＝0處的雅可比矩陣計算梯度圖像計算A的投影正交補集P＝E-AA^T；

(2.6.2)根據(jù)W(x；p)將人臉圖像I變形為I(W(x；p))；

(2.6.3)計算梯度聯(lián)合圖像其中J＝[J₀,J₁,...,J_m]表示梯度圖像J_i(i＝0,1,…,m)的組合，λ'＝[1,λ₁,λ₂,...,λ_m]∈R^m+1；計算海森矩陣

(2.6.4)計算形狀參數(shù)p的迭代更新量更新仿射變換表示融合計算；

(2.6.5)計算外觀參數(shù)λ的迭代更新量Δλ＝A^T(I-A₀-Aλ-JΔp)，更新參數(shù)λ←λ+Δλ，返回步驟(2.6.2)迭代，直至目標(biāo)函數(shù)收斂，此時，輸入測試人臉變形為基本形狀，實現(xiàn)可抗姿態(tài)和表情變化的三維人臉校準(zhǔn)。