[發(fā)明專利]一種對(duì)手指尖運(yùn)動(dòng)軌跡進(jìn)行跟蹤的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201310314062.5
• 申請(qǐng)日: 2013-07-24
• 公開（公告）號(hào): CN103389799A
• 公開（公告）日: 2013-11-13
• 發(fā)明（設(shè)計(jì)）人: 王春陽(yáng);袁博
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)深圳研究生院
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06T7/20;G06T7/00
• 代理公司: 深圳新創(chuàng)友知識(shí)產(chǎn)權(quán)代理有限公司 44223
• 代理人: 余敏

【技術(shù)領(lǐng)域】

本發(fā)明涉及圖像處理與分析技術(shù)，特別是涉及一種對(duì)手指尖運(yùn)動(dòng)軌跡進(jìn)行跟蹤的方法。

【背景技術(shù)】

隨著人機(jī)交互技術(shù)的發(fā)展和智能電視、智能手機(jī)等智能終端設(shè)備的普及，簡(jiǎn)單、自然、直觀的人機(jī)交互方式越來(lái)越受到人們的歡迎。基于視覺(jué)的人機(jī)交互方式直接通過(guò)視頻采集用戶信息（比如人臉、步態(tài)、手勢(shì)等），具有簡(jiǎn)單自然的優(yōu)點(diǎn)，從而成為當(dāng)前的一個(gè)熱點(diǎn)研究方向。

在傳統(tǒng)的人機(jī)交互過(guò)程中，人們通過(guò)鼠標(biāo)、鍵盤、觸摸屏等物理設(shè)備實(shí)現(xiàn)與設(shè)備之間的交互，但無(wú)法滿足人們對(duì)簡(jiǎn)單、自然、直觀的要求。例如，在強(qiáng)調(diào)自動(dòng)化、智能化和網(wǎng)絡(luò)化的家居環(huán)境中，使用鼠標(biāo)、鍵盤、遙控器乃至觸摸屏對(duì)家電設(shè)備進(jìn)行控制都將給用戶帶來(lái)諸多不便。

基于指尖的人機(jī)交互通過(guò)識(shí)別用戶指尖的位置或軌跡來(lái)實(shí)現(xiàn)人機(jī)交互，為用戶提供了一種更便捷的交互模式，不僅能顯著提升用戶體驗(yàn)，而且還降低了用戶對(duì)硬件設(shè)備的依賴程度，在機(jī)器人控制、虛擬現(xiàn)實(shí)、消費(fèi)類電子產(chǎn)品、醫(yī)療衛(wèi)生、視頻游戲以及智能家居等諸多領(lǐng)域得到越來(lái)越廣泛的應(yīng)用。

指尖運(yùn)動(dòng)軌跡的跟蹤主要分為基于數(shù)據(jù)手套的指尖跟蹤和基于視頻的指尖跟蹤?；跀?shù)據(jù)手套的指尖跟蹤需要用戶在識(shí)別的過(guò)程中始終佩戴一種類似于手套的特殊設(shè)備，設(shè)備昂貴而且使用起來(lái)非常不方便，只能適用于某些特定的場(chǎng)合?；谝曨l的指尖跟蹤可以分為基于特殊攝像頭的指尖跟蹤和基于普通攝像頭的指尖跟蹤?；谔厥鈹z像頭的指尖跟蹤采用紅外攝像頭、立體攝像頭等特殊攝像頭，由于特殊攝像頭價(jià)格比較昂貴，因此無(wú)法實(shí)現(xiàn)廣泛應(yīng)用。基于普通攝像頭的指尖跟蹤分為基于標(biāo)記的指尖跟蹤和基于裸手的指尖跟蹤?；跇?biāo)記的指尖跟蹤需要在手指或指尖上做特定的標(biāo)記，以便于分割提取。雖然基于標(biāo)記的指尖跟蹤通過(guò)輔助設(shè)備提高了指尖跟蹤的精度，但是影響了人機(jī)之間交互的自然直觀?；诼闶值闹讣飧櫨哂兄庇^便捷的優(yōu)點(diǎn)，是目前國(guó)內(nèi)外的研究趨勢(shì)。

當(dāng)前，基于裸手的指尖軌跡跟蹤通常假設(shè)用戶的手臂被衣服等遮蓋，沒(méi)有充分考慮手臂裸露時(shí)對(duì)指尖跟蹤的干擾。而對(duì)于多目標(biāo)的指尖跟蹤，目前常用的方法為將當(dāng)前幀中檢測(cè)的指尖位置與上一幀中距離其最近的指尖相關(guān)聯(lián)。這種方法雖然簡(jiǎn)單，但是當(dāng)指尖運(yùn)動(dòng)幅度較大時(shí)，將會(huì)導(dǎo)致關(guān)聯(lián)錯(cuò)誤。

【發(fā)明內(nèi)容】

本發(fā)明所要解決的技術(shù)問(wèn)題是：彌補(bǔ)上述現(xiàn)有技術(shù)的不足，提出一種對(duì)手指尖運(yùn)動(dòng)軌跡進(jìn)行跟蹤的方法，可以避免指尖運(yùn)動(dòng)幅度過(guò)大時(shí)導(dǎo)致指尖的關(guān)聯(lián)失誤。

本發(fā)明的技術(shù)問(wèn)題通過(guò)以下的技術(shù)方案予以解決：

一種對(duì)手指尖運(yùn)動(dòng)軌跡進(jìn)行跟蹤的方法，包括以下步驟：1）利用攝像裝置獲取手指運(yùn)動(dòng)時(shí)的連續(xù)多幀圖像，檢測(cè)得到各幀圖像中的指尖的位置，作為檢測(cè)位置X_i=((x₁,y₁),(x₂,y₂)B(x_j,y_j))，其中i表示幀數(shù)，j表示指尖的數(shù)目，（x_j，y_j）表示第j個(gè)指尖的檢測(cè)位置；2）針對(duì)各幀圖像中的指尖，將其與前一幀圖像中相應(yīng)的指尖進(jìn)行關(guān)聯(lián)；具體為：以當(dāng)前幀為第i幀圖像說(shuō)明：21）使用前三幀圖像得到的指尖的檢測(cè)位置，計(jì)算得到指尖的加速度和各幀圖像中指尖的速度；22）根據(jù)步驟21）得到的所述加速度和第i-1幀圖像中指尖的速度，以及第i-1幀圖像中指尖的檢測(cè)位置，預(yù)測(cè)第i幀圖像中指尖的位置，得到第i幀圖像中指尖的預(yù)測(cè)位置X_i′=((x₁′,y₁′),(x₂′,y₂′)B(x′_j,y_j′))；23）針對(duì)各個(gè)指尖，檢測(cè)得到與其歐式距離最小的預(yù)測(cè)位置相應(yīng)的指尖，進(jìn)而得到第i幀圖像中各個(gè)指尖在第i-1幀圖像中的相應(yīng)指尖；24）針對(duì)各個(gè)指尖，將第i幀圖像中各個(gè)指尖與第i-1幀圖像中的相應(yīng)指尖進(jìn)行關(guān)聯(lián)，得到各個(gè)指尖的運(yùn)動(dòng)軌跡。

本發(fā)明與現(xiàn)有技術(shù)對(duì)比的有益效果是：