[發(fā)明專利]一種基于多幀視頻圖像構建三維人臉模型的方法

有效

• 申請?zhí)枺?/td>: 201410253326.5
• 申請日: 2014-06-09
• 公開（公告）號: CN104077804B
• 公開（公告）日: 2017-03-01
• 發(fā)明（設計）人: 劉威;張叢喆;湯勇;謝佳亮
• 申請（專利權）人: 廣州嘉崎智能科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;H04N7/18
• 代理公司: 廣州嘉權專利商標事務所有限公司44205
• 代理人: 譚英強

1.一種基于多幀視頻圖像構建三維人臉模型的方法，其特征在于：包括：

A.對固定照射位置和角度的攝像機拍攝的二維監(jiān)控畫面進行三維重建，從而得到攝像機監(jiān)控畫面的三維空間模型及三維空間信息；

B.從輸入的視頻圖像中提取出包含目標運動、形狀、紋理和顏色信息的多幀連續(xù)序列視頻；

C.對多幀連續(xù)序列視頻進行人臉特征檢測、三維空間定位、人臉特征同步跟蹤與識別，從而得到多幀連續(xù)序列視頻的三維人臉特征點；

D.根據攝像機監(jiān)控畫面的三維空間模型對多幀連續(xù)序列視頻的三維人臉特征點進行疊加計算，從而形成三維人臉網格并生成三維人臉模型數據。

2.根據權利要求1所述的一種基于多幀視頻圖像構建三維人臉模型的方法，其特征在于：所述步驟A，其包括：

A1.根據攝像機的固有參數矩陣建立單應性解，所述單應性解反映了實際地平面與攝像機拍攝圖像中地平面的單應性關系；

A2.根據攝像機的高度、給定的兩條長度已知且垂直于地平面的參考線，對攝像機的視角原點進行計算；

A3.根據單應性解、攝像機的視角原點和給定的可視化模型重建攝像機視角三維模型，從而得到攝像機監(jiān)控畫面的三維空間模型及三維空間信息。

3.根據權利要求1所述的一種基于多幀視頻圖像構建三維人臉模型的方法，其特征在于：所述步驟C，其包括：

C1.從多幀連續(xù)序列視頻中選取單一視頻幀作為當前視頻幀；

C2.對當前視頻幀進行人臉特征檢測和人臉特征定位，從而得到當前視頻幀的人臉特征點；

C3.對當前視頻幀的人臉特征點進行三維空間定位，并檢測當前視頻幀所含人臉特征點的空間信息、人臉特征的運動軌跡和時間信息；

C4.根據檢測的結果對當前視頻幀進行人臉特征同步跟蹤和自動識別，從而確定當前視頻幀的人臉特征點在移動過程中的每個空間位置坐標；

C5.繼續(xù)從多幀連續(xù)序列視頻中選取下一個單一視頻幀作為當前視頻幀，然后返回步驟C2，從而根據多幀連續(xù)序列視頻在不同時刻下的連續(xù)運動狀態(tài)生成人臉特征的三維坐標系矩陣。

4.根據權利要求1所述的一種基于多幀視頻圖像構建三維人臉模型的方法，其特征在于：所述步驟D，其具體為：

通過多幀連續(xù)序列視頻的多組三維人臉特征點進行三維人臉關鍵幀疊加計算，生成三維人臉模型數據索引列表，從而建立起結構化的三維人臉模型數據列表并對三維人臉模型數據索引列表進行存儲處理。

5.根據權利要求1所述的一種基于多幀視頻圖像構建三維人臉模型的方法，其特征在于：所述步驟D，其包括：

D1.將多幀連續(xù)序列視頻的人臉特征點代人攝像機監(jiān)控畫面的三維空間模型中，從而得到多幀連續(xù)序列視頻的三維人臉特征點空間坐標；

D2.根據三維人臉特征點空間坐標，采用三維圖像拼接算法生成紋理圖像，并對生成的紋理圖像進行映射，從而得到真實的三維人臉模型數據。

6.根據權利要求5所述的一種基于多幀視頻圖像構建三維人臉模型的方法，其特征在于：所述步驟D2，其包括：

D21.根據三維人臉特征點空間坐標從多幀連續(xù)序列視頻中重建臉部標記點的稀疏集合，并利用薄板樣條TPS對稀疏集合進行一一試配；

D22.根據TPS試配的結果對一般人臉模型進行非線性變換，從而得到匹配的三維人臉模型；

D23.采用三維圖像拼接算法得到多幀連續(xù)序列視頻的人臉紋理特征信息，并將得到的人臉紋理特征信息映射到匹配的三維人臉模型中，從而得到真實的三維人臉模型數據。

7.根據權利要求1所述的一種基于多幀視頻圖像構建三維人臉模型的方法，其特征在于：在所述步驟D后還設有步驟E，所述步驟E，其具體為：

采用SFM算法保留通用人臉模型的特定特征，通過與通用人臉模型比較，修正生成的三維人臉模型數據與通用人臉模型數據的誤差；然后采用三角形細分法通過點的深度信息構建最終的三維人臉模型。

8.根據權利要求7所述的一種基于多幀視頻圖像構建三維人臉模型的方法，其特征在于：所述步驟E中采用三角形細分法通過點的深度信息構建最終的三維人臉模型這一步驟，其包括：

E21.根據預設的閾值從三維人臉網格中篩選出需要細分的三角形，并對篩選出的三角形進行標記；

E22.將標記的三角形按照相鄰關系組合成n個網格塊，然后把這n個網格塊獨立出來，記為B｛b₁,b₂,b₃,…,b_n｝，同時將三維人臉網格未被標記的部分記為R_i；

E23.將B_i中網格塊四個頂點的權重分別調整為0、1/2、1/2和0，從而對B_i進行網格插值細分；

E24.對未做細分的R_i在邊界處進行插值細分，從而使在邊界上的插入點位于中點處；

E25.將B與R進行合成，并判斷合成后的網格模型是否滿足其所有三角形的邊長都小于預設的閾值，若是，則以合成后的網格模型作為最終的三維人臉模型，反之，則返回步驟E21。