[發明專利]基于RGB-D數據構成的少量訓練樣本的手勢識別方法

有效

• 申請號: 201310522370.7
• 申請日: 2013-10-29
• 公開（公告）號: CN103530619A
• 公開（公告）日: 2014-01-22
• 發明（設計）人: 萬軍;阮秋琦;安高云
• 申請（專利權）人: 北京交通大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/54
• 代理公司: 北京市商泰律師事務所 11255
• 代理人: 毛燕生

1.基于RGB-D數據構成的少量訓練樣本的手勢識別方法，包括：

特征提取單元，其用于對RGB-D相機采集到的對齊的RGB-D數據進行特征提取；

訓練單元，其用于對少量的手勢訓練樣本提取的特征進行訓練，得到訓練后的模型；

識別單元，其用于對輸入的連續的RGB-D數據利用訓練單元生成的模型進行識別。

2.根據權利要求1所述的基于RGB-D數據構成的少量訓練樣本的手勢識別方法，其特征在于：

在特征提取單元中，首先，對連續兩幀RGB-D圖像序列檢測特征點；然后對特征點鄰域區域進行特征向量計算，這樣每個訓練或者待識別樣本可以用這些特征向量表示；

在訓練單元中，首先，訓練樣本提取時空特征；其次，把所有的時空特征組成一個大矩陣；再次，對該大矩陣進行聚類獲取該聚類中心矩陣，該聚類中心矩陣即為訓練后的字典；最后，每一個訓練樣本的時空特征利用該字典進行量化得到一個直方圖，即每個訓練樣本可以由一個直方圖表示；

在識別單元中，首先，對連續的手勢分割成孤立手勢，其次，對每個孤立手勢提取時空特征；再次，利用訓練單元中的字典對提取的待識別孤立手勢的時空特征進行量化，使每個孤立手勢由一個直方圖表示；最后，把該直方圖輸入到最近鄰分類器得到最終的識別結果。

3.根據權利要求1或2所述的基于RGB-D數據構成的少量訓練樣本的手勢識別方法，所述的特征提取單元具體步驟為：

步驟（1）.對輸入的圖像序列中的每一幀都建立金字塔，包括了灰度圖金子塔和深度圖金字塔；其中灰度圖金字塔是由RGB圖經過灰度轉換而來的，而深度圖金字塔是由深度圖計算而來的；該金字塔的第一層是原圖，第n層是第n-1層經過下采樣得到的；

步驟（2）.對t時刻的深度圖金字塔，利用角點檢測器檢測金字塔每層圖像中的角點，由此可以知道這些角點位于金字塔圖像中的位置信息；

步驟(3).利用光流跟蹤這些角點在t+1時刻灰度圖金字塔中的位置，由此可以知道這些角點的速度；當角點的速度小于某個閾值K的時候，該角點舍棄；同時保留速度大于該閾值K的角點，這些保留的角點即為特征點；

在該步驟中，所述閾值的取值為K=max{Sm*0.2,0.5}，其中Sm是指同一層金字塔中所有檢測到角點速度的最大值；

步驟（4）.檢測完特征點后，即可知道這些特征點所處金字塔的位置；在t和t+1時刻，從灰度圖金字塔和深度圖金字塔上分別提取特征點位置周圍的一小塊圖像區域，這樣就包括了四個局部圖像:t時刻的局部灰度圖像G1,t時刻的局部深度圖像D1,t+1時刻的局部灰度圖像G2,t+1時刻的局部深度圖像D2；然后對這四個圖像進行高斯濾波，得到對應的濾波后的圖像G1',D1',G2',D2'；利用G1'求水平梯度圖像G1_x和垂直梯度圖像G1_y；利用D1'也求水平和垂直梯度圖像Z_x，Z_y；利用G1'和G2'計算灰度圖的水平光流場V1_x和垂直光流場V1_y；同樣利用D1'和D2'計算深度圖的水平和垂直光流場VZ_x，VZ_y；

步驟（5）.利用G1_x，G1_y，Z_x和Z_y構建三維梯度空間，其中三維坐標中，X方向為G1_x，Y方向為G1_y，Z方向由Z_x和Z_y構成；利用V1_x，V1_y，VZ_x和VZ_x構建三維運動空間，其中三維坐標中，X方向為V1_x，Y方向為V1_y，Z方向由VZ_x和VZ_y構成；

步驟（6）.在三維梯度和運動空間，分別在XY,YZ,XZ平面，求取SIFT描繪算子，這樣就可以計算6個SIFT描繪算子；最后這6個算子組成一個長的特征算子，即三維稀疏SIFT算子；三維稀疏SIFT算子就是提取的特征向量。