[發明專利]一種基于多幀視頻圖像構建三維人臉模型的方法

有效

• 申請號: 201410253326.5
• 申請日: 2014-06-09
• 公開（公告）號: CN104077804B
• 公開（公告）日: 2017-03-01
• 發明（設計）人: 劉威;張叢喆;湯勇;謝佳亮
• 申請（專利權）人: 廣州嘉崎智能科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;H04N7/18
• 代理公司: 廣州嘉權專利商標事務所有限公司44205
• 代理人: 譚英強

技術領域

本發明涉及視頻圖像處理領域，尤其是一種基于多幀視頻圖像構建三維人臉模型的方法。

背景技術

目前，基于生物特征（如指紋、掌紋和足印等）的身份認證技術已廣泛應用于安防領域，各種基于人像識別的業務應用也逐漸普及到不同的行業和領域。傳統的人像識別方法以二維人臉識別方法為主，包括Fisher?face識別方法和Eigenface識別方法等。但是二維人臉識別法的識別率低，存在一定的誤差，已無法滿足業務應用的迫切需求。而基于三維人臉模型的人像識別法與二維人臉識別法相比，具有更加豐富的信息，且支持通過空間旋轉實現多角度的比對，識別準確率較高，已有取代二維人臉識別法的趨勢。

三維人臉模型的構建是基于三維人臉模型的人像識別法的核心和關鍵。目前，構建三維人臉模型的方法主要有兩種：一種是通過多角度的三維攝像機對一個固定不動的人臉進行拍攝，然后拼接成一個三維模型；另一種是通過表面輪廓掃描的方式來構建三維模型。這兩種方法雖然在一定程度上重構了三維人臉模型，但其操作比較復雜，不夠便捷。

三維人臉模型的構建包括特征提取、標準模型變化、特征點定位和紋理映射等過程。目前的特征提取、標準模型變化和紋理映射過程主要針對靜態人臉圖像進行，很難反映帶有運動軌跡的人臉參數和屬性等信息（如面部表情扭曲的情況就難以描述），無法采用相似性度量或比對的方法最大程度上還原真實人臉，實時性較低且數據誤差較大。

綜上所述，目前業內亟需一種便捷、實時和精確度高的三維人臉模型構建方法。

發明內容

為了解決上述技術問題，本發明的目的是：提供一種便捷、實時和精確度高和應用范圍廣的，基于多幀視頻圖像構建三維人臉模型的方法。

本發明解決其技術問題所采用的技術方案是：一種基于多幀視頻圖像構建三維人臉模型的方法，包括：

A.對固定照射位置和角度的攝像機拍攝的二維監控畫面進行三維重建，從而得到攝像機監控畫面的三維空間模型及三維空間信息；

B.從輸入的視頻圖像中提取出包含目標運動、形狀、紋理和顏色信息的多幀連續序列視頻；

C.對多幀連續序列視頻進行人臉特征檢測、三維空間定位、人臉特征同步跟蹤與識別，從而得到多幀連續序列視頻的三維人臉特征點；

D.根據攝像機監控畫面的三維空間模型對多幀連續序列視頻的三維人臉特征點進行疊加計算，從而形成三維人臉網格并生成三維人臉模型數據。

進一步，所述步驟A，其包括：

A1.根據攝像機的固有參數矩陣建立單應性解，所述單應性解反映了實際地平面與攝像機拍攝圖像中地平面的單應性關系；

A2.根據攝像機的高度、給定的兩條長度已知且垂直于地平面的參考線，對攝像機的視角原點進行計算；

A3.根據單應性解、攝像機的視角原點和給定的可視化模型重建攝像機視角三維模型，從而得到攝像機監控畫面的三維空間模型及三維空間信息。

進一步，所述步驟C，其包括：

C1.從多幀連續序列視頻中選取單一視頻幀作為當前視頻幀；

C2.對當前視頻幀進行人臉特征檢測和人臉特征定位，從而得到當前視頻幀的人臉特征點；

C3.對當前視頻幀的人臉特征點進行三維空間定位，并檢測當前視頻幀所含人臉特征點的空間信息、人臉特征的運動軌跡和時間信息；

C4.根據檢測的結果對當前視頻幀進行人臉特征同步跟蹤和自動識別，從而確定當前視頻幀的人臉特征點在移動過程中的每個空間位置坐標；

C5.繼續從多幀連續序列視頻中選取下一個單一視頻幀作為當前視頻幀，然后返回步驟C2，從而根據多幀連續序列視頻在不同時刻下的連續運動狀態生成人臉特征的三維坐標系矩陣。

進一步，所述步驟D，其具體為：

通過多幀連續序列視頻的多組三維人臉特征點進行三維人臉關鍵幀疊加計算，生成三維人臉模型數據索引列表，從而建立起結構化的三維人臉模型數據列表并對三維人臉模型數據索引列表進行存儲處理。

進一步，所述步驟D，其包括：

D1.將多幀連續序列視頻的人臉特征點代人攝像機監控畫面的三維空間模型中，從而得到多幀連續序列視頻的三維人臉特征點空間坐標；

D2.根據三維人臉特征點空間坐標，采用三維圖像拼接算法生成紋理圖像，并對生成的紋理圖像進行映射，從而得到真實的三維人臉模型數據。

進一步，所述步驟D2，其包括：

D21.根據三維人臉特征點空間坐標從多幀連續序列視頻中重建臉部標記點的稀疏集合，并利用薄板樣條TPS對稀疏集合進行一一試配；