[發(fā)明專(zhuān)利]一種基于拳頭檢測(cè)作為輔助信息的手勢(shì)跟蹤方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201310283649.4
• 申請(qǐng)日: 2013-07-08
• 公開(kāi)（公告）號(hào): CN103366188A
• 公開(kāi)（公告）日: 2013-10-23
• 發(fā)明（設(shè)計(jì)）人: 謝衍濤;盧金鑫
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中科創(chuàng)達(dá)軟件股份有限公司
• 主分類(lèi)號(hào): G06K9/66
• 分類(lèi)號(hào): G06K9/66
• 代理公司: 北京慶峰財(cái)智知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11417
• 代理人: 劉元霞

技術(shù)領(lǐng)域

本發(fā)明涉及電子設(shè)備的手勢(shì)識(shí)別及跟蹤領(lǐng)域，特別涉及一種基于拳頭檢測(cè)作為輔助信息的手勢(shì)跟蹤方法。

背景技術(shù)

現(xiàn)有技術(shù)中，手勢(shì)識(shí)別算法大體分為兩類(lèi)，一類(lèi)是基于3D模型的，例如Kinect使用紅外檢測(cè)目標(biāo)深度值，另一類(lèi)是基于圖像。基于3D模型的方案，往往需要特殊硬件設(shè)備支持，使用成本高，并且有使用場(chǎng)合上的限制。基于圖像的方案只需要有普通攝像頭支持，直接根據(jù)可見(jiàn)光圖像檢測(cè)某種手勢(shì)，使用成本較低，使用自然、方便，符合以人為本的要求。但是由于現(xiàn)實(shí)環(huán)境中復(fù)雜的背景、不勻的光照，以及攝像頭本身的精度和噪聲差別等等因素，極大的增加了手勢(shì)識(shí)別的難度，導(dǎo)致準(zhǔn)確率比較低、魯棒性差等問(wèn)題。

進(jìn)一步詳細(xì)分析可知，基于圖像的手勢(shì)識(shí)別相對(duì)基于3D模型的最大的問(wèn)題是準(zhǔn)確率低，魯棒性差，容易丟失目標(biāo)。導(dǎo)致這個(gè)問(wèn)題主要有兩個(gè)因素：

1.現(xiàn)實(shí)環(huán)境中，背景和光照復(fù)雜，攝像頭本身的參數(shù)、精度和噪聲強(qiáng)度千差萬(wàn)別。

2.手的關(guān)節(jié)多，自由度大，姿態(tài)很復(fù)雜。

第一個(gè)因素極大的增加了在圖像中檢測(cè)到手并識(shí)別出手勢(shì)的難度；第二個(gè)因素增加了對(duì)手勢(shì)檢測(cè)和識(shí)別器的學(xué)習(xí)難度。第一個(gè)因素隨環(huán)境變化而不同，是無(wú)法做到人為控制的，只能從第二個(gè)因素入手。經(jīng)分析可知，拳頭在手的各種姿態(tài)中，自由度最少，因此簡(jiǎn)單而易于識(shí)別。本發(fā)明將拳頭這個(gè)特殊的手勢(shì)用于輔助普通手勢(shì)的檢測(cè)、跟蹤和識(shí)別，可以有效的提高手勢(shì)檢測(cè)的靈敏度和準(zhǔn)確率，還可以解決跟蹤初始化，以改進(jìn)手勢(shì)丟失、自動(dòng)恢復(fù)跟蹤等問(wèn)題。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的主要目的在于提供一種基于拳頭檢測(cè)作為輔助信息的手勢(shì)跟蹤方法。總共分三部分：分別為拳頭圖像訓(xùn)練方法、拳頭跟蹤方法和拳頭作為輔助信息的手勢(shì)跟蹤方法。

1）拳頭圖像的訓(xùn)練方法，包括如下步驟：

step1：初始化訓(xùn)練樣本集合，該集合由若干正樣本和負(fù)樣本圖片組成，所謂正樣本，即剛好包含著拳頭的圖片，負(fù)樣本是不含有拳頭的任何圖片；

step2：設(shè)定訓(xùn)練的參數(shù)：Haar特征的類(lèi)型，檢測(cè)器層數(shù)N，每一層的目標(biāo)檢測(cè)率P和誤檢率R，每一層的最大弱檢測(cè)器數(shù)T；

step3：初始化i，i=1；

step4：訓(xùn)練第i層，訓(xùn)練根據(jù)定義好的Haar類(lèi)型提取特征，用AdaBoost算法進(jìn)行訓(xùn)練，訓(xùn)練的停止準(zhǔn)則是檢測(cè)率P和誤撿率R是否達(dá)到，或者弱檢測(cè)器個(gè)數(shù)是否達(dá)到T；

step5：更新i，i=i+1，如果i>=N，跳轉(zhuǎn)到step7；

step6：更新訓(xùn)練樣本集合，用已經(jīng)訓(xùn)練好的若干層組成的層級(jí)檢測(cè)器對(duì)當(dāng)前正負(fù)樣本進(jìn)行檢測(cè)，將被拒絕的樣本從訓(xùn)練集合里剔除，跳轉(zhuǎn)到s4；

step7：訓(xùn)練停止。

2）拳頭圖像的檢測(cè)方法，包括如下步驟：

step1:根據(jù)預(yù)設(shè)的窗口尺寸和步長(zhǎng)掃描圖片，將當(dāng)前窗口里的圖像數(shù)據(jù)作為待定目標(biāo)輸入檢測(cè)器；

step2:檢測(cè)待定目標(biāo)，對(duì)于每一層，根據(jù)學(xué)習(xí)好的模型里指定的若干特征計(jì)算響應(yīng)值，輸入該層的分類(lèi)器h，得到判決，如果判決為負(fù)樣本，則檢測(cè)完成；如果該樣本通過(guò)了所有層的檢測(cè)，則為正樣本，因此則可以認(rèn)為這張圖像里含有拳頭。

3）拳頭檢測(cè)作為輔助信息的手勢(shì)跟蹤方法，包括如下步驟：

step0：應(yīng)用啟動(dòng)拳頭檢測(cè)器；

step1：拳頭檢測(cè)器處于伺候狀態(tài)，監(jiān)視每一幀視頻圖像；

step2：使用2）部分的拳頭檢測(cè)方法對(duì)圖像進(jìn)行檢測(cè)，如果檢測(cè)到拳頭，則提示用戶可以開(kāi)始具體的手勢(shì)指令，并將監(jiān)視視頻的控制權(quán)交給應(yīng)用程序，應(yīng)用程序啟動(dòng)普通手勢(shì)識(shí)別器進(jìn)行手勢(shì)的跟蹤和識(shí)別；

step3：如果在某個(gè)完整的手勢(shì)序列完成之前發(fā)生了手勢(shì)丟失的情況，應(yīng)用程序提示用戶發(fā)生了跟蹤丟失的情況，開(kāi)始倒計(jì)時(shí)，并將監(jiān)視視頻的控制權(quán)交給拳頭檢測(cè)器，跳轉(zhuǎn)到step5，恢復(fù)跟蹤；

step4：如果在完整的手勢(shì)指令完成之后，新的手勢(shì)指令開(kāi)始之前發(fā)生了丟失，則跳轉(zhuǎn)到step1；

step5：如果用戶出示拳頭并被檢測(cè)到，跳轉(zhuǎn)回step2，繼續(xù)進(jìn)行檢測(cè)到拳頭后的步驟；

step6：如果超過(guò)預(yù)設(shè)的時(shí)間，用戶沒(méi)有出示拳頭或者沒(méi)有被檢測(cè)到，則視為用戶取消了該次行為，跳轉(zhuǎn)回step1。

優(yōu)選的，應(yīng)用程序通過(guò)文字、語(yǔ)音或者圖標(biāo)方式對(duì)用戶進(jìn)行提示。

附圖說(shuō)明