[發(fā)明專利]一種實(shí)時(shí)手勢(shì)識(shí)別的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201711221554.4
• 申請(qǐng)日: 2017-11-22
• 公開(kāi)（公告）號(hào): CN107958218A
• 公開(kāi)（公告）日: 2018-04-24
• 發(fā)明（設(shè)計(jì)）人: 張暉;楊純
• 申請(qǐng)（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06K9/60;G06F3/01
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司32200
• 代理人: 朱楨榮

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別是一種實(shí)時(shí)手勢(shì)識(shí)別的方法。

背景技術(shù)

手勢(shì)識(shí)別是指對(duì)人手部形態(tài)、位移等進(jìn)行持續(xù)采集、建模并識(shí)別，從而將獲得的手勢(shì)信息轉(zhuǎn)換為對(duì)應(yīng)的指令，用來(lái)控制實(shí)現(xiàn)某些操作。動(dòng)態(tài)手勢(shì)識(shí)別是靜態(tài)手勢(shì)識(shí)別的結(jié)合，是由一系列的手勢(shì)動(dòng)作組成，重點(diǎn)是獲取視頻流中的手部信息，提取手勢(shì)特征與手勢(shì)運(yùn)動(dòng)軌跡，從而進(jìn)行動(dòng)態(tài)手勢(shì)識(shí)別。

物聯(lián)網(wǎng)時(shí)代，人機(jī)交互不再是機(jī)械性的按鍵交互、觸屏交互，而是會(huì)以語(yǔ)音交互、手勢(shì)交互等更為簡(jiǎn)單便捷的方式呈現(xiàn)。動(dòng)態(tài)手勢(shì)的交互方式更加符合人們?nèi)粘５慕涣髁?xí)慣，同時(shí)它擴(kuò)展以實(shí)現(xiàn)更多、更豐富的語(yǔ)義，填補(bǔ)了圖形、機(jī)械、觸屏交互與自然語(yǔ)言交互之間的空白，因此該識(shí)別技術(shù)在人機(jī)交互領(lǐng)域的發(fā)展中有著重要的研究意義以及廣闊的應(yīng)用前景。

盡管現(xiàn)有的基于視覺(jué)的動(dòng)態(tài)手勢(shì)識(shí)別技術(shù)取得了很大進(jìn)展，但是還沒(méi)有真正應(yīng)用于復(fù)雜環(huán)境并可以廣泛普及的系統(tǒng)。主要原因在于真實(shí)環(huán)境中背景有很強(qiáng)的不確定性，光線的顏色、強(qiáng)弱、變化都可能給手勢(shì)識(shí)別系統(tǒng)的識(shí)別率帶來(lái)影響，同時(shí)實(shí)時(shí)動(dòng)態(tài)手勢(shì)識(shí)別系統(tǒng)對(duì)計(jì)算機(jī)的處理能力要求也非常高。動(dòng)態(tài)手勢(shì)的運(yùn)動(dòng)速度、表現(xiàn)形態(tài)不一、運(yùn)動(dòng)物遮擋等都會(huì)降低識(shí)別率。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問(wèn)題是克服現(xiàn)有技術(shù)的不足而提供一種實(shí)時(shí)手勢(shì)識(shí)別的方法，在動(dòng)態(tài)手勢(shì)的識(shí)別過(guò)程中對(duì)光照變化、復(fù)雜背景下的圖像信息以及動(dòng)態(tài)手勢(shì)軌跡進(jìn)一步優(yōu)化，提高動(dòng)態(tài)手勢(shì)識(shí)別率。

本發(fā)明為解決上述技術(shù)問(wèn)題采用以下技術(shù)方案：

根據(jù)本發(fā)明提出的一種實(shí)時(shí)手勢(shì)識(shí)別的方法，包括如下步驟：

步驟1、實(shí)時(shí)獲取手勢(shì)視頻信號(hào)，將手勢(shì)視頻信號(hào)分解為按時(shí)間排序的圖像序列；

步驟2、對(duì)步驟1得到的圖像序列預(yù)處理得到二值圖像，其中預(yù)處理包括中值濾波、色彩空間轉(zhuǎn)換和膚色閾值分割；

步驟3、對(duì)步驟2預(yù)處理后的二值圖像進(jìn)行形態(tài)學(xué)濾波，在二維平面中采用質(zhì)心定位的方法分割出手部區(qū)域；

步驟4、提取手部區(qū)域的手形特征構(gòu)成手形特征向量并用SVM支持向量機(jī)算法識(shí)別成對(duì)應(yīng)的手勢(shì)值；

步驟5、對(duì)手部區(qū)域采用迭代LK金字塔光流算法提取運(yùn)動(dòng)軌跡的方向特征，使其與手勢(shì)值組合為每一個(gè)動(dòng)態(tài)手勢(shì)圖像的特征向量；

步驟6、循環(huán)執(zhí)行步驟4和步驟5，直到手勢(shì)結(jié)束，從而獲得手勢(shì)的特征向量序列，該特征向量序列的長(zhǎng)度即為步驟1中圖像序列的個(gè)數(shù)；

步驟7、建立手勢(shì)模板庫(kù)，將步驟6獲得的手勢(shì)的特征向量序列F_test，與手勢(shì)模板庫(kù)中所有模板F_ref都進(jìn)行優(yōu)化DTW匹配，并計(jì)算F_test與F_ref的失真度，如果大于失真閾值，則識(shí)別失敗，如果小于失真閾值，則輸出識(shí)別結(jié)果。

作為本發(fā)明所述的一種實(shí)時(shí)手勢(shì)識(shí)別的方法進(jìn)一步優(yōu)化方案，步驟1中采用紅外攝像頭實(shí)時(shí)獲取手勢(shì)視頻信號(hào)。

作為本發(fā)明所述的一種實(shí)時(shí)手勢(shì)識(shí)別的方法進(jìn)一步優(yōu)化方案，步驟2中的預(yù)處理，對(duì)中值濾波后的圖像通過(guò)圖像空間轉(zhuǎn)換技術(shù)轉(zhuǎn)換到Y(jié)CrCb彩色空間進(jìn)行膚色閾值分割。

作為本發(fā)明所述的一種實(shí)時(shí)手勢(shì)識(shí)別的方法進(jìn)一步優(yōu)化方案，步驟3中采用質(zhì)心定位的方法分割出手部區(qū)域，手部區(qū)域的質(zhì)心位置的求法如下：

設(shè)(x,y)為手部區(qū)域中的像素位置，I(x,y)為手部區(qū)域中(x,y)處的像素值，手部區(qū)域的零階矩陣和一階矩陣分別為：

其中，M₀₀為零階矩陣，M₁₀，M₀₁分別為x和y的一階矩陣；

求得手部區(qū)域的質(zhì)心位置為：

其中，x_c為質(zhì)心位置的橫坐標(biāo)，y_c為質(zhì)心位置的縱坐標(biāo)。

作為本發(fā)明所述的一種實(shí)時(shí)手勢(shì)識(shí)別的方法進(jìn)一步優(yōu)化方案，步驟4具體如下：

4-1-1)提取手部區(qū)域的手部輪廓存為點(diǎn)序列并將其點(diǎn)序列用直線描繪；

4-1-2)計(jì)算該手部輪廓的中心矩及7個(gè)Hu不變矩，取出幾何矩七個(gè)特征分量中的前四個(gè)分量，使其與手部輪廓的面積周長(zhǎng)比共計(jì)5個(gè)手形特征構(gòu)成手形特征向量；

4-1-3)利用4-1-1)和4-1-2)獲得所有圖像序列的手形特征向量，對(duì)其歸一化后送進(jìn)SVM訓(xùn)練器中進(jìn)行學(xué)習(xí)和訓(xùn)練，識(shí)別成對(duì)應(yīng)的手勢(shì)值。

作為本發(fā)明所述的一種實(shí)時(shí)手勢(shì)識(shí)別的方法進(jìn)一步優(yōu)化方案，步驟5利用迭代LK金字塔光流算法，求解出圖像序列的光流場(chǎng)，得到運(yùn)動(dòng)軌跡的最初特征，選取運(yùn)動(dòng)軌跡切線角θ作為運(yùn)動(dòng)軌跡的方向特征，并將取值連續(xù)的θ均勻量化。