[發明專利]一種基于單幅照片的三維人臉建模方法及系統

在審

• 申請號: 201610994793.2
• 申請日: 2016-11-11
• 公開（公告）號: CN106780713A
• 公開（公告）日: 2017-05-31
• 發明（設計）人: 吳懷宇;吳挺
• 申請（專利權）人: 吳懷宇;吳挺
• 主分類號: G06T17/00
• 分類號: G06T17/00
• 代理公司: 北京卓唐知識產權代理有限公司11541
• 代理人: 龔潔

1.一種基于單幅照片的三維人臉建模方法，其特征在于，包括以下步驟：

獲取人臉圖像以及單幅人臉照片；

將所述人臉圖像二維展開，并通過薄板樣條變換對展開得到的紋理圖像進行稠密點對應，獲得中間圖像；

通過對所述中間圖像的主成分分析得到形變模型；

將所述形變模型的特征點與所述人臉照片的特征點對齊，并在對齊后的形變模型上垂直投影所述人臉照片的紋理，生成人臉模型。

2.根據權利要求1所述的三維人臉建模方法，其特征在于，通過薄板樣條變換對展開得到的紋理圖像進行稠密點對應包括以下步驟：

從所述紋理圖像中確定一圖像作為參考圖像；

根據cpselect函數對所述紋理圖像進行特征點標記；

通過映射函數將所述紋理圖像的特征點與所述參考圖像的特征點對齊；所述映射函數為：

其中，U為薄板樣條基函數：U_(r)＝r²logr²；a₁、a_x、a_y為系數，w_i為權重，該函數還滿足條件：

3.根據權利要求2所述的三維人臉建模方法，其特征在于，獲得中間圖像包括以下步驟：

通過逆映射函數計算所述紋理圖像的特征點坐標；

將二維展開時標記的柱面坐標匹配至所述紋理圖像相應的特征點坐標上；

根據匹配后的坐標關系將所述紋理圖像變換為中間圖像。

4.根據權利要求1所述的三維人臉建模方法，其特征在于，通過對所述中間圖像的主成分分析得到形變模型包括以下步驟：

定義所述中間圖像為形狀向量S和紋理向量T，并據其計算獲得平均人臉：其中m為人臉圖像的個數；

求出對應的協方差矩陣，進行奇異值分解：

通過調用Matlab中的svd函數提取形狀特征向量s₁、s₂……s_k、……和紋理特征向量t₁、t₂……t_k、……，獲得形變模型；形變的原理為：其中，A_i為形狀系數，B_i為紋理系數。

5.根據權利要求1所述的三維人臉建模方法，其特征在于，將所述形變模型的特征點與所述人臉照片的特征點對齊包括以下步驟：

選取所述形變模型的特征點，并根據所述人臉照片上對應的特征點估算兩者間的仿射變換；

仿射變換的公式為：S″_f＝(logc+1)T+S'_f，其中T∈R^2t表示平移向量，c∈R表示正則形狀系數，為新的子形狀向量；

根據所述仿射變換的求解結果計算所述形變模型的形狀系數

求代價函數在最優解時的值，其中形變模型的坐標為輸入的二維圖像坐標為S_input(x,y)，F為Frobanius范數；

上式是一個最優化問題，目的是使得變形后的三維人臉的正投影坐標與輸入圖像的坐標最接近，利用Matlab中的fminunc函數求解上式即可得到形狀系數

根據所述形狀系數對所述形變模型進行變換，得到人臉形狀模型。

由代入公式對形變模型進行變換得到新的形狀向量，這個形狀向量就是與輸入人臉一致的形狀向量，如此獲得單幅人臉照片對應的人臉形狀模型。

6.根據權利要求5所述的三維人臉建模方法，其特征在于，所述人臉照片上的特征點的獲取方式為：通過Face++的API接口參照所述形變模型的特征點，對所述人臉照片相應的特征點進行標記。

7.根據權利要求1所述的三維人臉建模方法，其特征在于，獲取人臉圖像包括以下步驟：

采集人臉圖像并將其存儲至人臉數據庫；

從所述人臉數據庫中調取所述人臉圖像。

8.根據權利要求1所述的三維人臉建模方法，其特征在于，生成人臉模型后還包括以下步驟：

對所述人臉模型進行是否有紋理缺失的檢測；

若有紋理缺失，則記錄所述人臉模型邊緣的紋理特征的坐標，并將其向人臉中心平移；在所述紋理特征上垂直投影所述人臉照片的紋理，并平移回記錄的坐標處。