[發明專利]一種實時手勢跟蹤方法及跟蹤系統

在審

• 申請號: 201110347695.7
• 申請日: 2011-11-04
• 公開（公告）號: CN102509079A
• 公開（公告）日: 2012-06-20
• 發明（設計）人: 劉遠民
• 申請（專利權）人: 康佳集團股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T5/00
• 代理公司: 深圳市興科達知識產權代理有限公司 44260
• 代理人: 王翀

技術領域

本發明涉及視頻運動圖像數據處理及機器視覺領域，特別涉及一種利用手的皮膚顏色和手勢的運動信息混雜實現手勢跟蹤的方法和實現該方法的系統。

背景技術

實時的手勢跟蹤算法一直是圖像處理和機器視覺領域研究的熱點問題，同時也是難點問題，盡管已經提出了一系列的跟蹤算法，并且取得了較好的效果，中國專利公開號CN102053702A，就公開了一種動態手勢控制系統與方法。但這些跟蹤方法都存在一定的缺陷，如camshift方法只用于了膚色信息，導致手勢的準確跟蹤存在問題，因而影響人機交互技術的發展，究其原因是人的手勢具有多樣性和復雜性，另外各人所處的環境差異很多，因此，如何在復雜的背景中實現手目標的準確跟蹤至關重要。

關于手勢跟蹤算法，主要有光流法、基于膚色信息的跟蹤方法和camshifft方法等。光流是空間運動物體在觀測成像面上的像素運動的瞬時速度，光流的研究是利用圖像序列中的像素強度數據的時域變化和相關性來確定各自像素位置的“運動”，即研究圖像灰度在時間上的變化與景象中物體結構及其運動的關系。將二維圖像平面特定坐標點上的灰度瞬時變化率定義為光流矢量。光流場(optical?flow?field)是指圖像灰度模式的表觀運動。它是一個二維矢量場，它包含的信息即是各像點的瞬時運動速度矢量信息，研究光流場的目的就是為了從序列圖像中近似計算不能直接得到的運動場。當人的眼睛觀察運動物體時，物體的景象在人眼的視網膜上形成一系列連續變化的圖像，這一系列連續變化的信息不斷“流過”視網膜(即圖像平面)，好像一種光的“流”，故稱之為光流(optical?flow)。光流表達了圖像的變化，由于它包含了目標運動的信息，因此可被觀察者用來確定目標的運動情況。

目前手勢跟蹤算法主要是分成三類，一類是基于膚色信息的手勢跟蹤算法，基于膚色特征的手勢檢測方法有三個缺陷，一是光照對膚色影響很大，導致手勢檢測在一些情況下，完全失效；二是在實際過程中，人臉等也會作為目標進入檢測系統中；三是當背景中存在和膚色相關的背景時，背景也會被認為是目標；另一類也是膚色信息的改進型即camshift方法，由于利用了meanshift算法，其跟蹤性能比第一類要有提高，但當有膚色干擾時，跟蹤精度有會明顯下降；基于光流場的光流法對目標跟蹤有好的效果，對光照變化較魯棒，同時背景的變化對其影響較少，因此成為了目標跟蹤的首選，在實際應用中，由于遮擋性、多光源、透明性和噪聲等原因，使得光流場基本方程的灰度守恒假設條件不能滿足，不能求解出正確的光流場，同時大多數的光流計算方法相當復雜，計算量巨大，不能滿足實時的要求，因此一般不被對精度和實時性要求比較高的監控系統所采用。

發明內容

本發明通過圖像傳感器獲取圖像信息，利用相應的處理單元完成幀間圖像信息提取，實時統計不變的背景和運動的物體，減少背景對跟蹤的影響，利用膚色信息和人臉檢測技術實現對背景的再分離，然后利用快速的KLT跟蹤算法完成目標的準確跟蹤，從而實現基于膚色和運動信息的混雜實時手勢跟蹤系統。

本發明為實現其目的而采用的技術方案是：一種實時手勢跟蹤方法，包括以下步驟

步驟A、利用圖像傳感器單元獲取目標的彩色影像；

步驟B、以提高圖像質量為目標，對影像進行處理；

步驟C、從影像中的每幀圖像中區分目標與背景；

步驟D、在目標中剔除人臉，目標中剩余部分即為手勢；

步驟E、利用光流法完成手勢跟蹤，并對系統的可信度進行評估。

進一步的，上述的實時手勢跟蹤方法中：所述的步驟A中，圖像傳感器為攝像頭或者其它網絡攝像機。

進一步的，上述的實時手勢跟蹤方法中：所述的步驟A中，所述的目標是指人像。

進一步的，上述的實時手勢跟蹤方法中：所述的步驟B中：對影像處理包括對視頻信號進行除噪和放大。

進一步的，上述的實時手勢跟蹤方法中：所述的步驟C中：利用先驗的膚色信息完成背景與人像目標的分離。

進一步的，上述的實時手勢跟蹤方法中：所述的步驟C中：包括以下分步驟：

C01、將步驟B中處理后的影像中的每一幀圖像轉化到HSV空間；

C02、在HSV空間里，利用先驗膚色信息，確定每一幀圖像中的膚色區域，并將非膚色區域剔除。

進一步的，上述的實時手勢跟蹤方法中：所述的步驟E中：并對系統的信度進行評估考慮到以下幾點：

膚色特征信息的條件；

非人臉；

包含運動信息；

前一幀跟蹤區域與當前幀的區域要具有相似性。