[發(fā)明專利]基于RGB-D數(shù)據(jù)構(gòu)成的少量訓(xùn)練樣本的手勢識別方法

有效

• 申請?zhí)枺?/td>: 201310522370.7
• 申請日: 2013-10-29
• 公開（公告）號: CN103530619A
• 公開（公告）日: 2014-01-22
• 發(fā)明（設(shè)計）人: 萬軍;阮秋琦;安高云
• 申請（專利權(quán)）人: 北京交通大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/54
• 代理公司: 北京市商泰律師事務(wù)所 11255
• 代理人: 毛燕生

技術(shù)領(lǐng)域

本發(fā)明涉及手勢識別方法,可以應(yīng)用到人機交互、手語翻譯、智能家居、游戲開發(fā)以及虛擬現(xiàn)實。

背景技術(shù)

在傳統(tǒng)手勢識別中，通常都是利用普通攝像頭采集手勢，然后對RGB視頻流進行特征提取。在基于單目的手勢識別中，由于只能夠提供RGB圖像，通常需要大量的訓(xùn)練樣本才能夠達(dá)到較好的識別效果；在多目視覺中，由于需要對多個相機進行標(biāo)定以及構(gòu)建三維模型，這些都需要復(fù)雜的運算量，無法達(dá)到實時的效果。

近年來，越來越多的公司開發(fā)了RGB-D相機。該相機的特點是能夠?qū)崟r的提供RGB圖像和深度圖像。比如2010年微軟發(fā)布了能夠?qū)崟r采集RGB-D圖像的攝像頭（即Kinect）；2011年華碩發(fā)布了Xtion?PRO；2013年體感控制器制造公司Leap發(fā)布的Leap?Motion。

由于RGB-D相機比普通相機能夠提供更加豐富的信息，為少量訓(xùn)練樣本達(dá)到較好的識別效果提供了可能。因此，當(dāng)只有少量訓(xùn)練樣本條件下，手勢識別所面臨的困難是如何從深度信息和顏色信息中提取有效的特征。

而在現(xiàn)有方法中，沒有基于RGB-D數(shù)據(jù)的少量樣本數(shù)據(jù)來預(yù)測手勢的。

發(fā)明內(nèi)容

本發(fā)明針對現(xiàn)有手勢識別方式上存在的缺陷，提供一種新的手勢識別方法。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：

本發(fā)明手勢識別方法由特征提取單元、訓(xùn)練單元和識別單元組成。

在特征提取單元中，首先，對連續(xù)兩幀RGB-D圖像序列檢測特征點；然后對特征點鄰域區(qū)域進行特征向量計算，這樣每個訓(xùn)練或者待識別樣本可以用這些特征向量表示。特征提取單元應(yīng)用到了后續(xù)的訓(xùn)練和識別單元中。

在訓(xùn)練單元中，首先，訓(xùn)練樣本提取時空特征；其次，把所有的時空特征組成一個大矩陣；再次，對該大矩陣進行聚類獲取該聚類中心矩陣，該聚類中心矩陣即為訓(xùn)練后的字典，該字典會應(yīng)用到識別單元中；最后，每一個訓(xùn)練樣本的時空特征利用該字典進行量化得到一個直方圖，即每個訓(xùn)練樣本可以由一個直方圖表示。

在識別單元中，首先，對連續(xù)的手勢分割成孤立手勢，其次，對每個孤立手勢提取時空特征；再次，利用訓(xùn)練單元中的字典對提取的待識別孤立手勢的時空特征進行量化，使每個孤立手勢由一個直方圖表示；最后，把該直方圖輸入到最近鄰分類器得到最終的識別結(jié)果。

進一步，本發(fā)明中的特征提取單元所提取的特征名為三維稀疏SIFT特征算子。

本發(fā)明需要的硬件包括RGB-D相機（如Kinect），電腦主機及常規(guī)配件（如鼠標(biāo)，鍵盤等）。

這里，本發(fā)明有下面六個優(yōu)點：第一，可從少量訓(xùn)練樣本中提取有效的特征；第二，提供了一套完整的手勢識別系統(tǒng)方法，包含了訓(xùn)練和識別過程；第三，能夠應(yīng)用到所有的能夠提供RGB-D數(shù)據(jù)的相機；第四，該識別方法對手勢發(fā)生旋轉(zhuǎn)或尺度變化具有很好的魯棒性；第五，該識別方法對手勢中發(fā)生部分遮擋具有較好的識別效果；第六，該識別方法能夠達(dá)到實時。

本發(fā)明能夠應(yīng)用在任何提供RGB-D數(shù)據(jù)的相機或設(shè)備，比如微軟的Kinect,華碩的Xtion?PRO或Leap公司的Leap?Motion；該方法識別速度能夠達(dá)到實時，可以用在人機交互、手語翻譯、智能家居、游戲開發(fā)以及虛擬現(xiàn)實中。

附圖說明

圖1為本發(fā)明的特征提取單元流程圖；

圖2為本發(fā)明的訓(xùn)練單元流程圖；

圖3為本發(fā)明的識別單元流程圖。

具體實施方式

下面將結(jié)合附圖對本發(fā)明方法作進一步說明。

本發(fā)明手勢識別方法由特征提取單元、訓(xùn)練單元和識別單元組成。

如圖1所示，本發(fā)明中，特征提取單元具體步驟如下：

步驟（1）.對輸入的圖像序列中的每一幀都建立金字塔，包括了灰度圖金子塔和深度圖金字塔。其中灰度圖金字塔是由RGB圖經(jīng)過灰度轉(zhuǎn)換而來的，而深度圖金字塔是由深度圖計算而來的。該金字塔的第一層是原圖，第n層是第n-1層經(jīng)過下采樣得到的。

步驟（2）.對t時刻的深度圖金字塔，利用角點檢測器（如Harris、Shi-Tomasi等）檢測金字塔每層圖像中的角點。由此可以知道這些角點位于金字塔圖像中的位置信息。

步驟（3）.利用光流跟蹤這些角點在t+1時刻灰度圖金字塔中的位置。由此可以知道這些角點的速度。當(dāng)角點的速度小于某個閾值K的時候，該角點舍棄。同時保留速度大于該閾值K的角點，這些保留的角點即為特征點。