[發(fā)明專(zhuān)利]一種三維手勢(shì)運(yùn)動(dòng)重建方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201110235370.X
• 申請(qǐng)日: 2011-08-16
• 公開(kāi)（公告）號(hào): CN102262783A
• 公開(kāi)（公告）日: 2011-11-30
• 發(fā)明（設(shè)計(jì)）人: 劉燁斌;王雁剛;戴瓊海
• 申請(qǐng)（專(zhuān)利權(quán)）人: 清華大學(xué)
• 主分類(lèi)號(hào): G06T7/00
• 分類(lèi)號(hào): G06T7/00
• 代理公司: 北京聿宏知識(shí)產(chǎn)權(quán)代理有限公司 11372
• 代理人: 吳大建;劉華聯(lián)

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)圖形學(xué)領(lǐng)域，具體地，涉及一種三維手勢(shì)的運(yùn)動(dòng)重建技術(shù)。

背景技術(shù)

對(duì)運(yùn)動(dòng)手勢(shì)進(jìn)行運(yùn)動(dòng)重建是研究人員一直關(guān)心的問(wèn)題，因?yàn)樵谌伺c人之間的信息交流中，手勢(shì)通常扮演著很重要的作用。在虛擬現(xiàn)實(shí)中，手是用戶模型中十分重要的動(dòng)作與感知關(guān)系模型，人的行為特征是人機(jī)交互的重要研究?jī)?nèi)容。在虛擬環(huán)境中用手實(shí)現(xiàn)抓取、釋放物體以及飛行、漫游、導(dǎo)航等三維交互任務(wù)和技術(shù)，以往是利用人的觸摸行為和計(jì)算機(jī)的反應(yīng)來(lái)獲得基于人機(jī)交互的手段。在人機(jī)交互過(guò)程中，通過(guò)手勢(shì)動(dòng)作直接與計(jì)算機(jī)系統(tǒng)進(jìn)行交互，相比傳統(tǒng)的交互方式更加直觀、清晰，同時(shí)也使用戶具備更好的體驗(yàn)。

到目前為止，手勢(shì)的運(yùn)動(dòng)重建已經(jīng)取得了很多的研究成果。概括起來(lái)可以分為二大類(lèi)：1)利用手的皮膚顏色，在二維圖像域進(jìn)行模板匹配等處理手段進(jìn)行運(yùn)動(dòng)重建；2)使用三維模型，將其投影到二維圖像域，利用諸如輪廓、陰影等硬性約束進(jìn)行運(yùn)動(dòng)重建。由于三維模型的手的運(yùn)動(dòng)重建能夠融合計(jì)算機(jī)圖形學(xué)與計(jì)算機(jī)視覺(jué)的方法進(jìn)行處理，因此其獲得了很大的成功。但是目前尚存在以下問(wèn)題：1)重建工作需要獲得比較精確的三維初始模型；2)重建工作通常采用局部?jī)?yōu)化算法，在小范圍內(nèi)進(jìn)行優(yōu)化，這樣很可能陷入局部極值的情況；3)重建工作即使存在全局優(yōu)化的算法，算法的運(yùn)行時(shí)間通常較長(zhǎng)。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問(wèn)題是需要提供一種三維手勢(shì)運(yùn)動(dòng)重建方法和系統(tǒng)，能夠利用一個(gè)一般的初始三維手模型，實(shí)現(xiàn)三維手勢(shì)的重建，無(wú)需精確的三維初始模型即可得到效果好的重建模型。

為了解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種三維手勢(shì)運(yùn)動(dòng)重建方法，其特征在于，包括以下步驟：步驟1，對(duì)采集的手勢(shì)圖像序列的第一幀圖像按照給定的參考圖像進(jìn)行區(qū)域分割；步驟2，生成所述第一幀圖像的各分割區(qū)域的仿射變換矩陣；步驟3，生成三維至二維投影系數(shù)，根據(jù)所述投影系數(shù)和所述的仿射變換矩陣，得出與所述第一幀圖像對(duì)應(yīng)的三維手勢(shì)模型；步驟4，對(duì)得到的與所述第一幀圖像對(duì)應(yīng)的三維手勢(shì)模型，確定其骨架節(jié)點(diǎn)和所述骨架節(jié)點(diǎn)的自由度；步驟5，針對(duì)所述手勢(shì)圖像序列中的后續(xù)各幀圖像，基于與前一幀圖像對(duì)應(yīng)的三維手勢(shì)模型的骨架節(jié)點(diǎn)和所述自由度，結(jié)合當(dāng)前幀圖像進(jìn)行模擬退火粒子濾波運(yùn)算，得出當(dāng)前幀圖像的三維手勢(shì)模型，將與所述手勢(shì)圖像序列中各幀圖像對(duì)應(yīng)的三維手勢(shì)模型作為所述手勢(shì)圖像序列的三維手勢(shì)重建結(jié)果。

進(jìn)一步，該方法還包括，所述手勢(shì)圖像序列的第一幀圖像為無(wú)自遮擋和外部遮擋的張開(kāi)的手的圖像，并且手指朝上，手掌或手背面對(duì)鏡頭，手可前后、上下、左右、小角度傾斜。

進(jìn)一步，該方法還包括，在所述步驟1中，按照手的不同部位進(jìn)行區(qū)域劃分并分配不同的顏色，對(duì)不同區(qū)域生成不同的仿射變換矩陣。

進(jìn)一步，該方法還包括，在步驟3中，通過(guò)所述仿射變換矩陣得到所述第一幀圖像的二維投影圖像，再通過(guò)所述投影系數(shù)得將所述二維投影圖像投影到三維空間中得到三維手勢(shì)模型，通過(guò)預(yù)定次數(shù)的迭代操作來(lái)得出所述第一幀圖像對(duì)應(yīng)的三維手勢(shì)模型。

進(jìn)一步，該方法還包括，對(duì)所述骨架節(jié)點(diǎn)設(shè)定約束條件，所述約束條件用于限定所述骨架節(jié)點(diǎn)的自由度的角度范圍。

進(jìn)一步，該方法還包括，在所述模擬退火粒子濾波運(yùn)算中，粒子為對(duì)應(yīng)三維手勢(shì)模型的多維向量，對(duì)每一個(gè)當(dāng)前幀圖像，對(duì)應(yīng)的初始粒子的數(shù)值為前一幀圖像的三維手勢(shì)模型對(duì)應(yīng)的多維向量的數(shù)值，并對(duì)每一個(gè)維度賦予0.1的方差；與第一幀圖像相應(yīng)的初始粒子為每一個(gè)維度均為0的多維向量；根據(jù)方差和初始粒子得到預(yù)定數(shù)量的多個(gè)粒子，對(duì)所述多個(gè)粒子基于前一幀圖像的三維手勢(shì)模型和當(dāng)前幀圖像，通過(guò)優(yōu)化目標(biāo)函數(shù)并進(jìn)行迭代操作得出預(yù)定數(shù)量的多個(gè)相近的粒子，將多個(gè)相近的粒子的均值作為當(dāng)前幀圖像的三維手勢(shì)模型。

進(jìn)一步，該方法還包括，在所述模擬退火粒子濾波運(yùn)算中，基于前一幀圖像的三維手勢(shì)模型和當(dāng)前幀圖像來(lái)計(jì)算多個(gè)粒子的權(quán)值，并根據(jù)所述權(quán)值進(jìn)行多項(xiàng)式采樣，舍棄權(quán)值較低的粒子，根據(jù)方差和剩下的粒子重新得出預(yù)定數(shù)量的一組新的粒子，通過(guò)迭代操作使算法收斂，得出預(yù)定數(shù)量的多個(gè)相近的粒子，將多個(gè)相近的粒子的均值作為當(dāng)前幀的三維手勢(shì)模型。

進(jìn)一步，該方法還包括，在區(qū)域分割步驟之前，還包括對(duì)采集的圖像進(jìn)行背景去除的步驟。

進(jìn)一步，該方法還包括，通過(guò)多個(gè)成像系統(tǒng)從不同的角度采集手勢(shì)圖像序列，對(duì)每個(gè)角度采集的手勢(shì)圖像序列分別按照步驟1至步驟5進(jìn)行手勢(shì)重建。