[發明專利]基于時空級聯形狀回歸的人臉形狀跟蹤方法

在審

• 申請號: 201610108437.6
• 申請日: 2016-02-28
• 公開（公告）號: CN105787448A
• 公開（公告）日: 2016-07-20
• 發明（設計）人: 劉青山;盧宗光;張開華;楊靜
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 江蘇愛信律師事務所 32241
• 代理人: 唐小紅

技術領域

本發明涉及基于時空級聯形狀回歸的人臉形狀跟蹤方法，屬于計算機視覺技 術和多媒體技術領域。

背景技術

視頻中的配準是進行視頻分析的基礎，對視頻中的人臉精確配準后可以進行 人臉表情分析、人臉識別、人臉姿態估計，行為個體識別等。目前，基于靜態圖 像的人臉配準已經取得不錯的成果，速度和精度上面都有較大的提升，但是當把 已有的算法直接應用到視頻中仍然面臨許多挑戰，主要來自于視頻序列中人臉表 情、光照、遮擋、姿態的變化。相比單幅圖像的人臉配準，視頻中的人臉配準需 要充分考慮相鄰兩幀之間的關系，上一幀的人臉如果配準的偏差較大，就會對下 一幀人臉的配準造成錯誤的影響，誤差會累積，最后導致視頻中人臉配準的失敗。 因此如何傳遞上一幀的配準信息給下一幀作用重大。除此之外，視頻中的人臉特 征點定位需要速度快(過慢的算法將使得視頻中的人臉配準失去意義)、精度高， 可移植性高。考慮到許多人臉分析的應用都將移植到移動設備中，模型的壓縮也 至關重要。

根據外觀模型的建立方式，人臉配準可以分為生成式方法和區分性方法。

生成式方法迭代地優化形狀參數，目的是使得人臉形變模型能夠完美低重構 輸入的圖像。主動形狀模型和主動外觀模型是典型的生成式方法。在主動形狀模 型中，在配準好的訓練樣本上進行主成分分析學習得到全局形狀模型，全局的外 觀模型通過區分性模板的學習獲得。在主動外觀模型中，外觀模型的建立采用的 方式和主動形狀模型一樣，區別在于形狀模型是在普式分析后的人臉圖像上應用 主成分分析建模得到的。

區分性的方法嘗試通過從紋理特征到形狀的非線性映射來推理人臉的形狀。 P.Doll′ar等人在ProceedingsofIEEEConferenceonComputerVisionandPattern Recognition2012上的文章Cascadedposeregression中提出用級聯回歸的方式從和 姿態相關的特征映射到姿態的估計，取得了較好的實驗結果；曹旭東等人在 ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition2012 上的文章Facealignmentbyexplicitshaperegression中將兩層的回歸、和形狀相關 的特征、基于特征和形狀相關性的特征選取進行融合，使得回歸在性能和效率上 都得到提升；Xiong等人在ProceedingsofIEEEConferenceonComputerVisionand PatternRecognition2013上的文章Superviseddescentmethodanditsapplicationsto facealignment中通過在特征點周圍提取SIFT特征，然后通過最小二乘回歸學習回 歸矩陣，將特征映射到人臉特征點，為了提高回歸矩陣的學習效率，在工作上對 特征和形狀進行分組，來提高學習到回歸模型的魯棒性。任少卿等人用隨機森林 對形狀相關的特征進行二值編碼，接著用對偶坐標下降進行稀疏的二值特征到形 狀的回歸，在臺式機上的速度達到3000幀每秒。

以上是在靜態人臉圖像上進行人臉配準取得的研究成果，在進行視頻中人臉 配準時，需要解決兩個問題，一是當前幀人臉的配準，二是如何處理和利用好相 鄰兩幀的時空關系。典型的處理相鄰兩幀人臉關系的方式是多姿態人臉跟蹤。 S.Romdhani等人在BMVC1999第10卷上的文章Amulti-viewnonlinearactive shapemodelusingkernelpca中提出基于支持向量機的非線性主成分分析模型用 作非線性模型的轉換，以此進行人臉形狀的跟蹤。

發明內容

本發明所要解決的技術問題是：提供一種基于時空級聯形狀回歸的人臉形狀 跟蹤方法，計算復雜度低，占用空間小，跟蹤準確率高。

本發明為解決上述技術問題采用以下技術方案：

基于時空級聯形狀回歸的人臉形狀跟蹤方法，包括以下步驟：

步驟1，獲取人臉的訓練樣本和測試樣本，對訓練樣本和測試樣本做標準化 處理，根據以下三個角度范圍：-15°-15°、-30°-0°、0°-30°，將訓練樣 本劃分為正臉、右側臉、左側臉三個訓練集，分別標注三個訓練集訓練樣本的關 鍵點，并計算訓練樣本的平均臉；