[發明專利]一種基于Kinect的自動面部追蹤方法

有效

• 申請號: 201210052106.7
• 申請日: 2012-03-01
• 公開（公告）號: CN102638653A
• 公開（公告）日: 2012-08-15
• 發明（設計）人: 周忠;吳威;李濤;趙沁平
• 申請（專利權）人: 北京航空航天大學
• 主分類號: H04N5/232
• 分類號: H04N5/232;G06T7/00
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 許玉明;賈玉忠

技術領域

本發明涉及一種自動面部追蹤方法，特別涉及一種基于Kinect的自動面部追蹤方法，屬于人機交互領域。

背景技術

人機交互技術是指通過計算機的輸入輸出設備，以便于人們使用的方式實現人與計算機之間有效交流的技術。面部追蹤技術是人機交互領域的一項重要技術，它在視頻會議、面部表情細節獲取、消費電子類產品、面部運動捕捉以及自然人機交互環境中具有廣泛的應用前景。

現有的自動面部追蹤方法通常是基于二維圖像的，該類方法不僅涉及到一般的圖像處理，而且可能設計到圖像的理解和描述，如模式識別、人工智能等，相對復雜。其存在的主要問題在于對圖像的分辨率有一定的要求，且該類方法對周圍的光照環境敏感，光照條件不佳可能會影響追蹤的準確性；人體面部的頭發、飾物等遮擋物會減少人臉的部分局部特征，會對面部的追蹤造成影響，甚至無法追蹤，雖然可以通過人工智能進行補償，但較為復雜且對實時性有影響；交互應用方面，該類方法只利用了二維的圖像信息，無法魯棒地處理人體部位在深度方向上的交互動作。

微軟公司的自然交互設備Kinect，能夠實時地捕捉人體20個骨骼點的三維空間位置，這對于人體追蹤很有幫助。Kinect采用主動紅外線技術進行深度探測，在識別人體骨骼的同時，避免了周圍光照條件和遮擋的影響。可編程旋轉攝像機能夠接收編程命令，按照設定的角度在水平和垂直方向上旋轉，攝像機可通過編程命令來實現按需變焦。

Kinect可以實現較為準確的人體骨骼點追蹤，可編程旋轉攝像機能夠實現對于給定位置的圖像或視頻的捕獲。因此，本發明的基于Kinect的自動面部追蹤方法將二者進行結合，利用Kinect獲取三維骨骼點數據，然后利用該數據驅動攝像機旋轉，實現對面部的自動追蹤。

發明內容

本發明的目的是：結合可提取骨骼點三維信息的Kinect和可編程旋轉攝像機，解決基于圖像的自動面部追蹤所面臨的光照環境問題以及在交互應用中的不足，提供一種自動面部追蹤方法，該方法在不同光照條件下和交互應用中，可以有效地利用Kinect提供的骨骼點三維信息，提高自動面部追蹤的魯棒性和準確性。

為了實現上述目的，本發明所采取的技術方案是：本方法通過將Kinect與可編程旋轉攝像機標定到同一個坐標空間中，對Kinect獲取的人體骨骼數據序列進行處理和提取，來驅動攝像機對人的面部進行自動追蹤，具體包含的步驟如下：

(1)將追蹤設備放置在穩定的位置，追蹤設備由Kinect和可編程旋轉攝像機組成，通過標定得到攝像機的內參數、Kinect的內參數以及攝像機的外參數、Kinect的外參數；

(2)通過Kinect獲取人體骨骼數據序列，并從中提取頭部骨骼點在Kinect坐標系中的坐標，提取方法為直接提取，或者是在提取過程中結合骨骼點之間的約束關系進行優化；

(3)完成步驟(2)以后，利用步驟(1)中得到的攝像機的外參數和Kinect的外參數，按照在步驟(1)中追蹤設備位置放置方式，計算當前攝像機的外參數和當前Kinect的外參數并利用它們得到Kinect坐標系到攝像機坐標系的變換矩陣；

(4)利用步驟(3)中獲取的變換矩陣將步驟(2)中得到的頭部骨骼點在Kinect坐標系中的坐標變換到攝像機坐標系中，得到頭部骨骼點在攝像機坐標系中的坐標并利用該坐標計算攝像機在水平和垂直方向需要旋轉的角度以及需要縮放的倍數；

(5)根據步驟(4)中求得的角度和倍數，驅動攝像機進行相應的旋轉和縮放，使得攝像機能夠追蹤人的面部運動。

本發明是在將Kinect與攝像機標定到同一坐標空間的基礎上，于Kinect的搜索范圍內，連續采集人體骨骼數據序列并從中提取頭部骨骼點的三維坐標，通過變換矩陣將其變換到攝像機坐標系中，根據該坐標計算攝像機需要旋轉的角度和縮放倍數，從而完成自動的面部追蹤。

本發明的優點在于：

(1)本發明利用了Kinect主動紅外線技術獲取的三維信息來驅動攝像機進行自動面部追蹤，而紅外線技術對于光照環境不敏感，甚至于沒有環境光的情況下也能獲取三維信息，有效克服了現有基于圖像的自動面部追蹤在周圍光照不滿足要求的情況下無法進行面部追蹤的問題。

(2)本發明充分利用人體骨骼點的三維信息來實現自動面部追蹤，從而有助于交互應用方面，可以魯棒地處理人體部位在深度方向上的交互動作，克服了現有基于圖像的自動面部追蹤的不足。