[發明專利]一種基于Kinect的自動面部追蹤方法

有效

• 申請號: 201210052106.7
• 申請日: 2012-03-01
• 公開（公告）號: CN102638653A
• 公開（公告）日: 2012-08-15
• 發明（設計）人: 周忠;吳威;李濤;趙沁平
• 申請（專利權）人: 北京航空航天大學
• 主分類號: H04N5/232
• 分類號: H04N5/232;G06T7/00
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 許玉明;賈玉忠

1.一種基于Kinect的自動面部追蹤方法，其特征在于包含如下步驟：

(1)將追蹤設備放置在穩定的位置，追蹤設備由Kinect和可編程旋轉攝像機組成，通過標定得到攝像機的內參數、Kinect的內參數以及攝像機的外參數、Kinect的外參數；

(2)通過Kinect獲取人體骨骼數據序列，并從中提取頭部骨骼點在Kinect坐標系中的坐標，提取方法為直接提取，或者是在提取過程中結合骨骼點之間的約束關系進行優化；

(3)完成步驟(2)以后，利用步驟(1)中得到的攝像機的外參數和Kinect的外參數，按照在步驟(1)中追蹤設備位置放置方式，計算當前攝像機的外參數和當前Kinect的外參數并利用它們得到Kinect坐標系到攝像機坐標系的變換矩陣；

(4)利用步驟(3)中獲取的變換矩陣將步驟(2)中得到的頭部骨骼點在Kinect坐標系中的坐標變換到攝像機坐標系中，得到頭部骨骼點在攝像機坐標系中的坐標并利用該坐標計算攝像機在水平和垂直方向需要旋轉的角度以及需要縮放的倍數；

(5)根據步驟(4)中求得的角度和倍數，驅動攝像機進行相應的旋轉和縮放，使得攝像機能夠追蹤人的面部運動。

2.根據權利要求1所述的基于Kinect的自動面部追蹤方法，其特征在于：通過將Kinect與可編程旋轉攝像機標定到同一個坐標空間中，對Kinect獲取的人體骨骼數據序列進行處理和提取，來驅動攝像機對人的面部進行自動追蹤。

3.根據權利要求1所述的基于Kinect的自動面部追蹤方法，其特征在于：所述步驟(1)的追蹤設備中的Kinect和可編程旋轉攝像機的位置放置方式有兩種，第一種是在Kinect上集成或固定攝像機，第二種是將Kinect和攝像機分別獨立放置在不同的位置。

4.根據權利要求1所述的基于Kinect的自動面部追蹤方法，其特征在于：所述步驟(2)中若利用骨骼點之間的約束關系進行優化提取頭部骨骼點在Kinect坐標系中的坐標，其方法為：頭部骨骼點附近的骨骼點包括肩部中心骨骼點、左肩骨骼點、右肩骨骼點和脊柱中心骨骼點，它們之間存在著一定的約束關系，肩部中間骨骼點、左肩骨骼點和右肩骨骼點認為是共面，肩部中心骨骼點、脊柱中心骨骼點認為是共線，頭部骨骼點受到這二者的約束，設頭部骨骼點、肩部中心骨骼點、左肩骨骼點、右肩骨骼點和脊柱中心骨骼點在Kinect坐標系中的齊次坐標分別為(Hx，Hy，Hz，1)、(SCx，SCy，SCz，1)、(SLx，SLy，SLz，1)、(SRx，SRy，SRz，1)、(SPx，SPy，SPz，1)，肩部中間骨骼點、左肩骨骼點和右肩骨骼點決定的平面方程如公式(a)所示，肩部中心骨骼點、脊柱中心骨骼點決定的直線方程如公式(b)所示：

A_px+B_py+C_pz+D_p＝0?????(a)

其中，平面方程系數A_p、B_p、C_p、D_p可由共面的肩部中間骨骼點、左肩骨骼點和右肩骨骼點在Kinect坐標系中的坐標通過待定系數法計算得到；

x-SCxSPx-SCx=y-SCySPy-SCy=z-SCzSPz-SCz---(b)]]>

由幾何知識可以得到頭部骨骼點坐標(H_x，H_y，H_z，1)與前面所述平面、直線的距離分別為D_plane、D_line，閾值TH_plane表示頭部骨骼點與肩部中間骨骼點、左肩骨骼點、右肩骨骼點決定的平面的距離最大值，閾值TH_line表示頭部骨骼點與肩部中心骨骼點、脊柱中心骨骼點決定的直線的距離最大值，TH_plane、TH_line可根據精度要求自行設定；若滿足關系式(c)，則得到了當前頭部骨骼點在Kinect坐標系中的齊次坐標，否則繼續利用Kinect進行骨骼點的搜索；

D_plane≤TH_plane且D_line≤TH_line????(c)。