[發明專利]一種非線性三維人臉的建模方法

有效

• 申請號: 201110440224.0
• 申請日: 2011-12-26
• 公開（公告）號: CN102592309A
• 公開（公告）日: 2012-07-18
• 發明（設計）人: 孫艷豐;蓋赟;家華杰;尹寶才
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06K9/66
• 代理公司: 北京中北知識產權代理有限公司 11253
• 代理人: 馮夢洪

技術領域

本發明屬于圖像處理的技術領域，具體地涉及一種非線性三維人臉的建模方法。

背景技術

三維人臉重建是根據輸入二維人臉圖像重建其三維人臉數據的工作。由于三維人臉模型在計算機游戲、人機交互等領域有著廣闊的應用前景，因此三維人臉重建已經成為是計算機圖形學、計算機視覺最活躍的研究熱點。自從Parke于1972年首次使用計算機方法表示人臉，人臉建模就得到了廣泛的關注。經過30多年的發展，三維人臉建模方法有了長足的進步。Vetter等人1999年提出了基于形變模型的人臉建模方法，該方法第一次實驗了人臉建模的完全自動化，并且可以由一幅人臉圖像重建特定人的三維人臉模型。由于該模型是建立在像素級對應的三維原型人臉數據上，且模型中考慮了人臉姿態、光照等因素，因此該模型可以生成高度真實感的三維人臉。形變模型的基礎是線性組合的思想，即一類對象可以用該類對象基向量的線性組合來表示。基于形變模型的建模方法是通過調節模型的組合參數實現形變模型與輸入圖像之間的匹配。而人臉是嵌套在高維空間當中的非線性流形。基于線性理論的重建算法必定會忽略人臉結構的細節，難以達到較好的重建效果。

發明內容

本發明的技術解決問題是：克服現有技術的不足，提供一種重建效果更好的非線性三維人臉的建模方法。

本發明的技術解決方案是：這種非線性三維人臉的建模方法，包括以下步驟：(1)從已有的人臉數據庫中分別選取三維樣本和二維樣本，作為訓練樣本集，并對這些樣本實施規格化操作；在訓練階段，將二維訓練樣本集與三維訓練樣本集按照身份信息進行配對，使得這兩組樣本集中的樣本按照身份信息相互對應；(2)以這兩組對應樣本集為基礎訓練各自的投影矩陣，使得不同維度的樣本投影后具有最大的相關性；(3)在重建階段，對于輸入的二維人臉圖像，首先對其進行規格化處理，然后在二維訓練樣本集的子空間進行投影，根據相關性距離選取與其相關度高的三維樣本，基于這些選定的三維樣本構建三維人臉形變模型，并將其與輸入圖像進行匹配來實現三維人臉樣本重建。

由于本方法基于典型相關性分析和形變模型，所以重建效果更好。

具體實施方式

這種非線性三維人臉的建模方法，包括以下步驟：(1)從已有的人臉數據庫中分別選取三維樣本和二維樣本，作為訓練樣本集；在訓練階段，將二維訓練樣本集與三維訓練樣本集按照身份信息進行配對，使得這兩組樣本集中的樣本按照身份信息相互對應；(2)以這兩組對應樣本集為基礎訓練各自的投影矩陣，使得不同維度的樣本投影后具有最大的相關性；(3)在重建階段，首先將二維訓練樣本集的二維樣本進行規格化處理(將其按照雙眼間的距離進行尺度對齊，按照鼻尖點的位置進行位移對齊，并規格化為192*192大小的樣本)；對于輸入的二維人臉圖像，首先將其進行規格化處理，然后在規格化的二維訓練樣本集的子空間進行投影，根據相關性距離選取與其相關度高的三維樣本，基于這些選定的三維樣本構建三維人臉形變模型，并將其與輸入圖像進行匹配來實現三維人臉樣本重建。

優選地，步驟(1)包括以下分步驟：(1.1)從已有的人臉數據庫中選取三維樣本集和二維樣本集；(1.2)三維樣本集和二維樣本集按照身份信息對應；(1.3)對三維樣本和二維樣本進行規格化。

更進一步地，所述步驟(1.3)包括：對三維樣本規格化：使用交互的方式獲取三維樣本瞳孔之間的位置，計算所有三維樣本的瞳孔間的距離，以這些距離的平均值為標準對所有三維樣本進行尺度變化，以眉心點為標準對所有三維樣本進行平移對齊；對二維樣本規格化：使用交互的方式獲取二維樣本瞳孔之間的位置，計算所有二維樣本的瞳孔間的距離，以這些距離的平均值為標準對所有二維樣本進行尺度變化，以眉心點為標準對所有二維樣本進行平移對齊。

優選地，步驟(2)包括以下分步驟：

(2.1)計算二維樣本與三維樣本的均值向量；

(2.2)將所有樣本減去各自對應的均值向量；

(2.3)以相關性公式為目標函數，對其求最大值優化，在目標函數最大化時求出二維樣本和三維樣本對應的特征向量，其中相關性公式為：