[發明專利]一種基于正面圖像的遺容三維重建方法

有效

• 申請號: 201710793207.2
• 申請日: 2017-09-05
• 公開（公告）號: CN107564097B
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 李玉光;陳霜玲;吳壯志;李伯森;付慧群;劉崇;史峰
• 申請（專利權）人: 民政部一零一研究所
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06K9/00
• 代理公司: 北京中知法苑知識產權代理有限公司 11226
• 代理人: 常玉明;張蘭海

1.一種基于正面圖像的遺容三維重建方法，該方法預先基于三維人臉數據庫建立三維人臉統計模型，并且基于二維人臉數據庫采用SDM算法訓練得到二維人臉特征點參數模型；基于單張正面照進行人臉重建時，首先使用二維圖片特征點參數模型提取人臉特征點；然后，根據三維人臉統計模型，使用學習因子自適應梯度下降法對能量函數進行迭代優化，得到統計模型參數化向量，根據參數化向量進行人臉合成，即得到二維人臉圖片對應的三維人臉模型；然后基于人頭統計模型來完成人頭的修復，并利用人頭左右對稱和人頭先驗知識，輔之以鏡像、局部修飾修復操作；其特征在于：基于3D人臉掃描數據庫生成人臉統計模型、自動提取人臉特征，對生成模型進行后期修改調整；對于不同需求有面具、陽模、陰模多種導出形式；所述的基于3D人臉掃描數據庫生成人臉統計模型、自動提取人臉特征是指：

1)人臉數據庫

采用BJUT-3D人臉數據庫來建立3D人臉的統計模型；

2)數據預處理

處理步驟主要包括數據平滑，移除毛刺，填補缺失的數據以及校正坐標和三維裁剪，最后得到坐標對齊的規范化的3D人臉模型；

3)特征對齊的同構網格生成

形狀的統計分析：3D數據庫中的所有人臉3D數據庫中的所有人臉都用一個形狀向量和一個紋理向量來表示；對3D人臉進行特征標注，進行特征對齊并生成同質的人臉三角網格；特征對齊的同構網格模型：即一組網格拓撲結構一致、特征點對齊的三角網格模型；

每個人臉生成特征對齊的同質三角網格后，每個人臉都能用一個形狀向量和一個紋理向量來表示分別如下：

S_i＝(x₁,y₁,z₁,x₂,...,x_n,y_n,z_n)^T

T_i＝(R₁,G₁,B₁,R₂,...,R_n,G_n,B_n)^T

其中1≤i≤m，m為人臉數，n為每個三維人臉的點數；形狀向量S_i中的元素人臉上各點的坐標值x,y,z，而紋理向量T_i為各點的RGB顏色值；

4)人臉統計模型建立

在所有m個訓練人臉樣本都確立生成了特征對齊的同構網格模型后，建立人臉統計模型；根據m個人臉模型的形狀向量和紋理向量，利用主成分分析法PCA提取出形狀特征向量和紋理特征向量；

BJUT-3D人臉數據庫使用了200個人臉，其中100個男性和100個女性，作為樣本，即m＝200；使用PCA分析得到的統計模型包括了平均形狀向量和平均紋理向量，以及它們對應的特征向量；

PCA分別應用到由m個樣本人臉組成的一系列的形狀向量S_i和紋理向量T_i中去，i＝1,...,m；對于形狀，定義一個數據矩陣L＝(l₁,l₂,...,l_m)：

其中為形狀向量的平均值，C為其協方差矩陣：

根據協方差矩陣C得到一系列的形狀特征向量s₁,s₂,…,s_m，同理可以得到一系列的紋理特征向量t₁,t₂，…,t_m,特征向量組成一組正交基，即：

改變形狀和紋理系數α_i和β_i，就能得到不同的三維人臉，這些人臉是原數據庫中不存在的；

5)人臉特征參數模型建立和人臉特征檢測

使用SDM算法實現人臉特征點檢測，分為訓練和檢測兩步：

(1)SDM模型訓練

SDM需要從訓練集中得到R_k和b_k；訓練時，人臉圖片集為{I_i}，每張圖片手工標定的特征點為X_*；每張圖片的初始特征點為X₀，這樣人臉特征點定位就變成了一個線性回歸問題，回歸問題的目標是從X₀到X_*迭代的步長，這個回歸問題的輸入特征就是在X₀處的SIFT特征φ₀；這樣，套用線性回歸問題就得到目標函數：

這樣就從訓練集中得到了R₀和b₀；這里是得到了第一次迭代的系數R₀和b₀，采用相同的方法，基于公式

得到第k次迭代的系數R_k和b_k；這樣，就可以從訓練集中得到每次迭代的參數R_k和b_k；

(2)SDM人臉檢測

d(x)∈R^p*1表示圖片中的p個特征點坐標，h是每個特征點處的非線性特征提取函數，使用的特征是SIFT特征，也就是每個特征點要提取128維的SIFT特征，所以h(d(x))∈128*1；由手工標定的特征點為X_*，在X_*處提取的SIFT特征記為φ_*＝h(d(x))；由此，人臉特征點檢測看為求解使得下列函數最小的Δx：

f(x₀+△x)＝||h(d(x₀+△x))-φ_*||²

這里做的是，得到一系列的方向和步長Δx,將特征點從初值X₀收斂到最優解X_*；通過使用SDM算法不斷迭代公式X_k＝X_k-1+R_k-1φ_k-1+b_k-1并最終得到最優解，公式中的R_k和b_k就是上一步訓練得到的；

6)生成人臉

經過上面的特征點標定后，開始通過這組特征點的約束來調整人臉統計模型參數化向量，并生成真實的三維人臉模型；設上面得到的三維統計模型為S_mm，r個特征點集為{P_i}，為了得到符合圖片中人臉的三維模型，只需要讓統計模型中的對應點經過參數為的相機投影變換后落在二維平面上的點符合特征點集{P_i}；

調整優化統計模型的參數化向量

為了得到三維統計模型頂點在二維平面上的位置，需要相機參數和模型參數化向量這兩個參數的初始值由操作員估計并手動輸入，于是二維圖像表示為

為了衡量經過向量參數化后的統計模型與實際圖片對應真實人臉的差距，定義一個衡量該差距的偏差函數E＝||I_input-I_mod||²,該公式表示以輸入圖像特征點集和渲染圖像特征點集的歐式距離平方和來衡量生成的人臉模型與真實人臉模型的差距，偏差越小，效果越好；

為了求取偏差函數極小值采用梯度下降法調整參數化向量這里假設相機參數是被正確估計了的，所以保持不變；

動態調整逼近因子λ，使用以下方法：

(1)初始時刻由經驗得出一個逼近因子λ_init；

(2)如果在迭代的過程中梯度方向發生變化就縮小λ'＝kλ，其中k是每次縮小的比例，取0.7～0.8。