[發明專利]一種基于TOF深度相機的面部表情捕捉方法

在審

• 申請號: 201611190469.1
• 申請日: 2016-12-21
• 公開（公告）號: CN106778628A
• 公開（公告）日: 2017-05-31
• 發明（設計）人: 張維忠;袁翠梅;黃松;周紹致;王青林
• 申請（專利權）人: 張維忠
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T13/40
• 代理公司: 北京華仁聯合知識產權代理有限公司11588
• 代理人: 蘇雪雪

技術領域

本發明涉及計算機視覺及計算機圖形學技術領域，尤其涉及一種利用單個TOF深度相機捕捉人臉面部的表情動作并存儲為特定的數據格式用于動漫模型等的面部表情捕捉方法。

背景技術

近年來，隨著計算機圖形學的發展，計算機動畫技術合成人的面部表情動畫是當前動畫學科研究的一個重點之一，它使得動畫制作者能夠以演員的表情直接驅動畫形象模型，受到了動畫制作者們更多的關注。面部表情捕捉能夠實時地檢測、記錄表演者的表情，轉化為數字化的“抽象表情”，以便動畫軟件將它“賦予”模型，使模型具有和表演者一樣的表情，并生成最終的表情動畫序列。

目前，人臉表情動畫總體上可分為基于幾何、基于圖像、基于運動跟蹤的研究方法。其中基于幾何的研究方法主要包括關鍵幀插值法、參數化方法、肌肉模型法等；基于圖像的方法主要包括：圖像變形、動態紋理映射、面色變化的表情等。

在基于幾何的研究方法中，關鍵幀插值法首先在兩個不同的時刻建立幾何模型，然后在這兩個模型之間進行插值得到中間時刻的模型，從而獲得人臉表情動畫，這是一種最傳統的、最原始的人臉動畫方法，同時也是一種標準的人臉動畫方法，但它的不足之處是需要很大的工作量。參數化方法是由Parke首次應用于人臉動畫(Parke F I.A Parameteric Model for Human Faces [D].Salt Lake City：University of Utah，1974)，嘴唇說話時的動作就適合用這種方法，這種方法的不足是產生的人臉表情不夠自然，并且在設置參數值時需要大量的手工調整。肌肉模型法是通過一組構成肌肉模型的彈性肌肉的收縮來控制人臉表面網格變化進而模擬人臉表情的。

在基于圖像的方法中，圖像變形一種是在兩個圖像之間手工操作對應特征線段來實現2D變形；另一種是通過變形的3D模型映射到2D的參數空間來實現3D模型變形以及通過將幾何模型的3D變換和2D變形相結合，利用3D幾何插值，并在對應紋理圖像間進行圖像的變形操作來獲得真實的人臉表情動畫。除此之外，還有基于Bezier特征曲線和基于徑向基神經網絡的圖像變形等算法。動態紋理映射依賴視點的紋理映射，它每次允許使用不同的紋理圖，通過模型的反復繪制來對當前視點的調和權值進行動態的調整，不足是需要的計算和內存量大，而多紋理融合如果獨立于視點的話，由于記錄和采樣存在誤差常常使紋理變得模糊。

目前，應用最廣的是基于運動跟蹤方法，運動跟蹤方法主要是利用運動捕捉系統來進行表情捕捉，它主要是利用已有的捕獲數據將源模型的人臉表情遷移到目標模型上，從而實現人臉的面部表情捕獲，獲得逼真的面部表情。

現有的運動捕捉技術根據捕捉設備和原理不同主要分為四大類：機械式、聲學式、電學式以及光學式運動捕捉，其中，光學運動捕捉方式具有獲取數據便捷、采樣精度高、頻率高、使用范圍廣等優點，它采集的數據是以幀為單位的序列標識點(Marker)點集數據，在表演者的臉部關鍵點貼上Marker，視覺系統將識別和處理這些Maker，就可以實現表情捕捉。

本發明采用的是基于運動跟蹤的方法，不同于傳統的光學式的捕捉方法。本發明在表情捕捉過程中無需手動標記Marker，直接使用圖像識別的方法識別并記錄面部關鍵點的運動數據。它主要是利用已有的捕獲數據將源模型的人臉表情遷移到目標模型上，從而實現人臉的面部表情捕獲，獲得逼真的面部表情。

發明內容

針對目前動漫、電影等產業對面部表情捕獲的需求，本申請提供一種基于TOF深度相機的面部表情捕捉方法，無需手動標記Marker，直接使用圖像識別的方法識別并記錄面部關鍵點的運動數據。其捕獲的數據是人臉的真實運動數據，動作連貫逼真，表情細膩豐富，而且此方法獲取到的面部表情捕捉文件可以重復使用，節約了成本。

為解決上述技術問題，本發明提供了一種基于TOF深度相機的面部表情捕捉方法，其包括：

第一步，利用TOF深度相機采集深度圖像和彩色圖像，采用AAM(Active Appearances Models)算法定位面部特征點，并計算獲取面部表情數據；

第二步，處理捕捉面部表情數據，生成面部表情捕捉文件；

第三步，構建三維虛擬人物幾何模型，導入面部表情捕捉文件，驅動模型。

其中，在第一步中采用AAM算法標定真實人物的面部特征點，在頭部姿態各異的情況下，我們也能夠對面部特征點進行精確的定位，從而對真實人物進行面部表情捕捉。

其中，所述第一步進一步具體包括：

a、利用TOF深度相機獲取人臉彩色圖像和深度圖像；