[發(fā)明專利]基于DSP-PC機器視覺系統(tǒng)的斑紋式數(shù)據(jù)手套

無效

• 申請?zhí)枺?/td>: 201010507844.7
• 申請日: 2010-10-15
• 公開（公告）號: CN102023707A
• 公開（公告）日: 2011-04-20
• 發(fā)明（設(shè)計）人: 姚英學(xué);陳鵬;周亮;夏平均;廖志榮
• 申請（專利權(quán)）人: 哈爾濱工業(yè)大學(xué)
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于DSP-PC機器視覺系統(tǒng)的人機交互裝置，特別是一種將用戶手部各關(guān)節(jié)位姿精確映射到虛擬環(huán)境的數(shù)據(jù)手套及其數(shù)據(jù)采集處理方法。?

背景技術(shù)

在虛擬制造系統(tǒng)、數(shù)字化娛樂系統(tǒng)、醫(yī)療培訓(xùn)系統(tǒng)和機器人遙操作系統(tǒng)中，手勢交互是一種普遍的交互方式。廣義的手勢交互，不僅要獲取宏觀的手型，而且需要獲取手部各關(guān)節(jié)的位姿，因此手勢交互通常由數(shù)據(jù)手套來實現(xiàn)。數(shù)據(jù)手套利用傳感器測量用戶的手部運動，獲取測量數(shù)據(jù)映射到虛擬手，通過虛擬手來實現(xiàn)人機交互功能。?

傳統(tǒng)數(shù)據(jù)手套主要依靠光纖或壓電傳感器實現(xiàn)測量，需要通過增加傳感器的數(shù)目提高測量的精度，而傳感器數(shù)目的增長，將大大增加數(shù)據(jù)手套的制造、測試難度和生產(chǎn)成本。而用戶對于數(shù)據(jù)手套的需求，一方面需要高精度的虛擬手運動實現(xiàn)操作，另一方面需要考慮到系統(tǒng)的成本對產(chǎn)品開發(fā)的影響。精度與成本的矛盾制約著數(shù)據(jù)手套的推廣與應(yīng)用。?

在需要獲取手部精確位姿的操作中，傳統(tǒng)數(shù)據(jù)手套一般配合一定的位置跟蹤設(shè)備使用。這些位置跟蹤裝置一方面有些跟蹤設(shè)備會限制人體的運動，影響交互的自然性，另一方面單獨配套跟蹤設(shè)備增加了系統(tǒng)的成本。與此同時，數(shù)據(jù)手套配備的虛擬手模型多數(shù)僅用于簡單的演示和標(biāo)定，無法實現(xiàn)虛擬手的參數(shù)化調(diào)整，很大程度上影響應(yīng)用虛擬手進(jìn)行精確的操作。?

目前有一些數(shù)據(jù)手套采用了有別于傳統(tǒng)數(shù)據(jù)手套的工作模式，如采用CCD傳感器進(jìn)行工作的數(shù)據(jù)手套，但這些基于視覺數(shù)據(jù)手套采用了單純PC機的系統(tǒng)進(jìn)行圖像采集與數(shù)據(jù)處理。要提高運動跟蹤捕捉的精度，圖像處理算法復(fù)雜度也隨之增長，PC機的CPU和內(nèi)存等資源的使用率就會大大增加，因此在這類數(shù)據(jù)手套的使用中，可能導(dǎo)致PC機上運行的虛擬現(xiàn)實系統(tǒng)實時性的降低。?

發(fā)明內(nèi)容

本發(fā)明針對傳統(tǒng)數(shù)據(jù)手套用戶適應(yīng)性差、標(biāo)定過程繁瑣、維護(hù)困難并且價格昂貴等問題，同時考慮到虛擬現(xiàn)實應(yīng)中的實時性要求，提供一種基于機器視覺的新型數(shù)據(jù)手套，使用視覺傳感器實現(xiàn)數(shù)據(jù)手套對手部運動的采集。提出并且設(shè)計適合于多用戶舒適佩戴、具有豐富表面紋理特征的手套，開發(fā)嵌入式實時圖像采集處理單元，將CCD相機采集的圖像信號進(jìn)行數(shù)字化，采用視頻處理芯片DM642實現(xiàn)手套斑紋的檢測、識別和跟蹤，獲取手部關(guān)鍵點的位置?信息，通過網(wǎng)線將圖像處理結(jié)果傳輸?shù)絇C機。基于PC機建立了虛擬手演示與交互單元，該單元包含一個參數(shù)化可調(diào)的虛擬手模型，根據(jù)對當(dāng)前用戶手部的生理參數(shù)的測量結(jié)果進(jìn)行模型尺寸的修正，并從圖像采集處理單元獲取信息計算手部的位置和手指的彎曲角度，驅(qū)動虛擬手運動，支持?jǐn)?shù)據(jù)手套在人機交互中的應(yīng)用。?

本發(fā)明的目的是這樣實現(xiàn)的：一種基于DSP-PC機器視覺系統(tǒng)的斑紋式數(shù)據(jù)手套，其特征在于：采用兩個CCD相機對用戶佩戴的手套進(jìn)行實時圖像采集，每個相機安裝有滿足捕捉范圍的定焦鏡頭，通過DSP及PC機進(jìn)行數(shù)據(jù)處理實現(xiàn)手部運動的跟蹤捕捉功能，用于實現(xiàn)手部位姿測量，其中，還提供嵌入式實時圖像采集處理單元，將CCD相機采集的圖像信號進(jìn)行數(shù)字化，采用視頻處理芯片DM642實現(xiàn)手套斑紋的檢測、識別和跟蹤，還具有基于PC機的虛擬手演示與交互單元，該單元包含一個參數(shù)化可調(diào)的虛擬手模型，根據(jù)對當(dāng)前用戶手部的生理參數(shù)的測量結(jié)果進(jìn)行模型尺寸的修正，并從圖像采集處理單元獲取信息計算手部的位置和手指的彎曲角度，驅(qū)動虛擬手運動，用于虛擬環(huán)境中的運動演示及人機交互。?

通過分析人手的生理構(gòu)造、運動模型和運動特點，設(shè)計一種新型的斑紋式數(shù)據(jù)手套，即利用顏色和圖形對具有伸縮性的手套表面進(jìn)行編碼，并繪制成斑紋，使之對應(yīng)于手的幾何特征和運動特征，利用對斑紋的識別與跟蹤來確定手部的運動。在手腕部粘貼表征左右手的標(biāo)志(右手為字母R，左手為字母L)，通過模板匹配的方法實現(xiàn)對手部根節(jié)點位置的跟蹤。對于指尖位置的獲取，則采用較為通用的運動目標(biāo)跟蹤算法Camshift算法。為了使指尖部分的特征適用于Camshift算法，每個指尖指節(jié)分別采用不同的顏色。拇指則測量掌腕骨相連的關(guān)節(jié)的位置，與小指相連的掌骨的位置，也采用同樣的方法獲取。在手指的關(guān)節(jié)處用三色環(huán)帶用于對不同手指進(jìn)行編碼，根據(jù)紅、黃、藍(lán)顏色的不同排列，可以判斷運動變化所發(fā)生的手指。在獲取關(guān)節(jié)的位置的同時，跟蹤手套上的色塊，即可確定手掌形狀的變化。將上述算法在視頻處理芯片DM642上實現(xiàn)，開發(fā)嵌入式實時圖像采集處理單元，保證PC機上運行系統(tǒng)的實時性。?