[發(fā)明專利]一種三維人臉重建方法

無效

• 申請?zhí)枺?/td>: 200910093767.2
• 申請日: 2009-09-28
• 公開（公告）號: CN101751689A
• 公開（公告）日: 2010-06-23
• 發(fā)明（設(shè)計）人: 王陽生;丁賓;姚健;杜志軍;楊明浩
• 申請（專利權(quán)）人: 中國科學(xué)院自動化研究所;北京盛開互動科技有限公司
• 主分類號: G06T15/00
• 分類號: G06T15/00;G06T17/00
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 梁愛榮

1.一種三維人臉重建方法，其特征在于，包括如下步驟：

步驟1：利用三維掃描儀采集真實的三維人臉模型并進(jìn)行規(guī)整化處 理，得到規(guī)整化人臉模型，對規(guī)整化人臉模型的形狀和紋理分別進(jìn)行主 成分分析，得到包括形狀分量和紋理分量兩部分的人臉形變模型；

步驟2：利用Adaboost自動檢測輸入圖像中的人臉，得到人臉在圖 像中的位置；

步驟3：利用主動外觀模型在輸入圖像中自動定位人臉上的關(guān)鍵點；

步驟4：根據(jù)人臉上的關(guān)鍵點和人臉形變模型的形狀分量，恢復(fù)人 臉的形狀參數(shù)和姿態(tài)參數(shù)，從而得到三維人臉模型的幾何形狀，即重建 的三維人臉模型；

步驟5：由重建的三維人臉模型、輸入圖像和人臉姿態(tài)生成形狀無 關(guān)紋理；

步驟6：以形狀無關(guān)紋理為目標(biāo)圖像，利用人臉形變模型的紋理分 量進(jìn)行人臉紋理擬合，得到完整的人臉紋理；

步驟7：將完整的人臉紋理映射到重建的三維人臉模型上，得到最 終的三維人臉重建結(jié)果；

還包括，人臉模型規(guī)整化的步驟如下：

步驟11：定義一個平面規(guī)則網(wǎng)格，并在該平面規(guī)則網(wǎng)格和待規(guī)整化 的人臉模型上標(biāo)注若干對應(yīng)的關(guān)鍵點；

步驟12：基于對應(yīng)的關(guān)鍵點，利用徑向基函數(shù)將平面規(guī)則網(wǎng)格變形 到待規(guī)整化的人臉模型，得到一個粗略的人臉模型；

步驟13：從粗略的人臉模型上的每一個頂點作法向量投影，得到該 頂點的新坐標(biāo)，從而得到規(guī)整化的人臉模型；

步驟14：由待規(guī)整化的人臉模型上的頂點顏色插值得到規(guī)整化人臉 模型上的頂點顏色，并將插值得到的頂點顏色值賦給平面規(guī)則網(wǎng)格上對 應(yīng)的頂點，得到規(guī)整化人臉模型的紋理圖像；

還包括，得到三維人臉模型的幾何形狀的步驟如下：

步驟41：在人臉形變模型上標(biāo)注與圖像上的人臉關(guān)鍵點相對應(yīng)的三 維關(guān)鍵點；

步驟42：利用弱透視投影對三維關(guān)鍵點進(jìn)行變換，得到三維關(guān)鍵點 的投影；

步驟43：對人臉的形狀參數(shù)和姿態(tài)參數(shù)進(jìn)行初始化；

步驟44：將代價函數(shù)設(shè)置為所有三維關(guān)鍵點的投影與圖像上的人臉 關(guān)鍵點之間的偏差，將該代價函數(shù)最小化，得到人臉的形狀參數(shù)和姿態(tài) 參數(shù)；

步驟45：利用形狀參數(shù)將人臉形變模型的形狀分量加權(quán)，得到重建 的三維人臉模型的幾何形狀；

還包括，形狀無關(guān)紋理的生成步驟如下：

步驟51：將重建的三維人臉模型展成平面，得到一個平面人臉網(wǎng)格；

步驟52：根據(jù)入臉姿態(tài)參數(shù)，求重建的三維人臉模型的頂點的投影 坐標(biāo)，以投影坐標(biāo)作為該頂點的紋理坐標(biāo)；

步驟53：以輸入圖像為紋理圖像，利用紋理坐標(biāo)將紋理圖像映射到 平面人臉網(wǎng)格上，渲染該平面人臉網(wǎng)格得到形狀無關(guān)紋理；

還包括，人臉紋理擬合的步驟如下：

步驟61：計算人臉紋理圖像的有效區(qū)域；

步驟62：計算每個像素處的位置確定度，將位置確定度作為代價函 數(shù)在該像素處的權(quán)重；

步驟63：為重建的三維人臉模型加上兩個光照，分別位于重建的三 維人臉模型的左前方和右前方各45度，光照的位置固定，強度可變；

步驟64：以形狀無關(guān)紋理為擬合的目標(biāo)圖像，以人臉形變模型的紋 理分量合成人臉紋理；將代價函數(shù)設(shè)置為合成的紋理圖像與目標(biāo)圖像之 間的偏差，代價函數(shù)在紋理的有效區(qū)域內(nèi)進(jìn)行計算；

步驟65：在計算代價函數(shù)之前，對合成的人臉紋理的灰度級進(jìn)行線 性變換；利用梯度下降法將代價函數(shù)最小化得到合成的紋理圖像；

步驟66：設(shè)計一個模板圖像將合成的紋理圖像與形狀無關(guān)紋理進(jìn)行 融合，取出形狀無關(guān)紋理的中心區(qū)域補充到合成的紋理圖像上，以補充 人臉的細(xì)節(jié)。

2.一種三維人臉重建方法，其特征在于，包括如下步驟：

步驟1a：利用三維掃描儀采集真實的三維人臉模型并進(jìn)行規(guī)整化處 理，得到規(guī)整化人臉模型，對規(guī)整化人臉模型的形狀和紋理分別進(jìn)行主 成分分析，得到人臉形變模型，包括形狀分量和紋理分量兩部分；

步驟2b：利用Adaboost自動檢測輸入圖像中的人臉，得到人臉在 圖像中的位置；

步驟3c：利用主動外觀模型在輸入圖像中自動定位人臉上的關(guān)鍵 點；

步驟4d：根據(jù)人臉上的關(guān)鍵點和人臉形變模型的形狀分量，恢復(fù)人 臉的形狀參數(shù)和姿態(tài)參數(shù)，從而得到三維人臉模型的幾何形狀，即重建 的三維人臉模型；

步驟5e：將重建的三維人臉模型上的頂點進(jìn)行弱透視投影，以弱透 視投影坐標(biāo)作為其紋理坐標(biāo)，以輸入圖像為紋理，對重建的三維人臉模 型進(jìn)行紋理映射，得到最終的重建結(jié)果；

所述人臉模型規(guī)整化的步驟如下：

步驟11a：定義一個平面規(guī)則網(wǎng)格，并在該平面規(guī)則網(wǎng)格和待規(guī)整 化的人臉模型上標(biāo)注若干對應(yīng)的關(guān)鍵點；

步驟12a：基于對應(yīng)的關(guān)鍵點，利用徑向基函數(shù)將平面規(guī)則網(wǎng)格變 形到待規(guī)整化的人臉模型，得到一個粗略的人臉模型；

步驟13a：從粗略的人臉模型上的每一個頂點作法向量投影，得到 該頂點的新坐標(biāo)，從而得到規(guī)整化的人臉模型；

步驟14a：由待規(guī)整化的人臉模型上的頂點顏色插值得到規(guī)整化人 臉模型上的頂點顏色，并將插值得到的頂點顏色值賦給平面規(guī)則網(wǎng)格上 對應(yīng)的頂點，得到規(guī)整化人臉模型的紋理圖像；

還包括，得到三維人臉模型的幾何形狀的步驟如下：

步驟41d：在人臉形變模型上標(biāo)注與圖像上的人臉關(guān)鍵點相對應(yīng)的 三維關(guān)鍵點；

步驟42d：利用弱透視投影對三維關(guān)鍵點進(jìn)行變換，得到三維關(guān)鍵 點的投影；

步驟43d：對人臉的形狀參數(shù)和姿態(tài)參數(shù)進(jìn)行初始化；

步驟44d：將代價函數(shù)設(shè)置為所有三維關(guān)鍵點的投影與圖像上的人 臉關(guān)鍵點之間的偏差，將該代價函數(shù)最小化，得到人臉的形狀參數(shù)和姿 態(tài)參數(shù)；

步驟45d：利用形狀參數(shù)將人臉形變模型的形狀分量加權(quán)，得到重 建的三維人臉模型的幾何形狀。