[發明專利]動態手勢識別系統及方法

無效

• 申請號: 201210521108.6
• 申請日: 2012-12-07
• 公開（公告）號: CN102938060A
• 公開（公告）日: 2013-02-20
• 發明（設計）人: 趙瑩
• 申請（專利權）人: 上海電機學院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/66;G06K9/46
• 代理公司: 上海思微知識產權代理事務所(普通合伙) 31237
• 代理人: 鄭瑋

技術領域

本發明關于一種動態手勢識別系統及方法，特別是涉及一種基于不變性結構特征的動態手勢識別系統及方法。

背景技術

現有的手勢識別方法主要有兩種，一種是基于3D模型的手勢模型方法，另一種是基于表觀的手勢模型方法。基于3D模型的手勢模型是確定手掌的位置和關節角度，其能夠反映手勢的局部細節信息，一般是把三維模型映射到圖像平面，對模型的運動參數進行搜索匹配。然而，由于3D模型具有很高的特征矢量維度，造成計算量過大，并且在跟蹤的過程中會由于誤差的不斷積累導致跟蹤的精度不高甚至丟失目標。基于表觀的手勢模型，可分為基于區域的跟蹤、基于活動輪廓或變形模板的跟蹤以及基于其他圖像特征的跟蹤方法，它們都是完全基于圖像表觀的非模型方法，由于未能保證所跟蹤的特征，如興趣點、輪廓、2D區域等特征具有不變性，很容易受到遮擋或者條件變化等因素的影響。

發明內容

為克服上述現有技術的不足，本發明之目的在于提供一種動態手勢識別系統及方法，其利用手勢固有的形狀結構特征進行手勢分割，提取手勢的尺度不變性、旋轉不變性特征，再采用基于仿射變換的塊匹配法對動態手勢進行跟蹤，以達到速度快、精度高的目的。

為達上述及其它目的，本發明提出一種動態手勢識別系統，用于對視頻中動態手勢進行識別，至少包括：

靜態手勢識別模組，檢測視頻幀內運動區域，得到膚色區域，并針對五指張開的手勢，提取幾何特征，采用手形的相對幾何特征，利用SVM分類器進行分類，從而從膚色區域中定位出手勢部分；以及

動態手勢跟蹤模組，采用基于仿射變換的塊匹配法，通過計算相鄰幀的運動參數進行手勢跟蹤。

進一步地，該靜態手勢識別模組包括：

運動區域檢測模組，提取幀內運動區域，排除背景干擾，同時縮小檢測區域；

特征提取模組，針對五指張開的手勢，提取幾何特征，采用手形的相對幾何特征，利用SVM分類器進行分類，從而從膚色區域中定位出手勢部分；以及

特征識別模組，選取若干幅人手正樣本以及若干副樣本作為訓練樣本，利用SVM分類器進行學習，再將學習后的分類器對視頻幀進行手勢識別選取。

進一步地，該運動區域檢測模組將相鄰的圖像幀之間的像素進行差分并閾值化，提取出圖像中的運動區域。

進一步地，該特征識別模組選取2000幅人手正樣本以及2000副負樣本作為訓練樣本。

進一步地，該特征提取模組包括：

掌心位置及大小計算模組，利用距離變換得到膚色分類器給出的手形區域中掌心位置及掌心大小；

手指位置計算模組，利用手勢凸包、外輪廓，計算手指位置以及最大缺陷的位置；以及

特征向量形成模組，根據手形特征構成特征向量。

進一步地，該動態手勢跟蹤模組將手勢區域作為跟蹤對象，進行圖像分塊，通過將各個小塊的運動參數累加，從而得到手區域在相鄰兩幀之間的運動向量

為達到上述及其他目的，本發明還提供一種動態手勢識別方法，用于對視頻中動態手勢進行識別，包括如下步驟：

步驟一，檢測運動區域，得到膚色區域；

步驟二，利用距離變換得到膚色分類器給出的手形區域中掌心位置及掌心大小；

步驟三，利用手勢凸包、外輪廓，計算手指位置以及最大缺陷的位置；

步驟四，根據手形特征構成特征向量；

步驟五，選取若干幅人手正樣本以及若干副樣本作為訓練樣本，利用SVM分類器進行學習，再將學習后的分類器對視頻幀進行手勢識別；以及

步驟六，利用基于仿射變換的圖像塊匹配方法進行手形跟蹤。

進一步地，于步驟一中，將相鄰的圖像幀之間的像素進行差分并閾值化，提取出圖像中的運動區域。

進一步地，步驟三中，判斷手指及缺陷坐標的規則如下：

1)從左至右遍歷凸缺陷，尋找缺陷開始點，最大點以及缺陷結束點，并計算最大缺陷值，得到D0、D1、D2、D3、D4、D5六個缺陷點坐標及最大缺陷值；

2)當缺陷值大于設定閾值時，則判定該缺陷為手指間的缺陷。將缺陷的開始點、結束點分別標定位兩手指坐標，缺陷位置為指間缺陷坐標；

3)除大拇指以及小拇指以外，剩余指尖由于缺陷開始點及結束點不一定重合，則當不重合時，取兩者的平均值作為指尖坐標，從而得到指尖坐標；

4)將相鄰最大缺陷點相連，線段的中點被認為是五指的指根坐標，從而通過指尖與指根可以計算出五指的長度。