[發(fā)明專利]一種基于手勢識別的相似度閾值分析的手勢運(yùn)動平滑處理方法

有效

• 申請?zhí)枺?/td>: 201410708575.9
• 申請日: 2014-11-27
• 公開（公告）號: CN104331164B
• 公開（公告）日: 2017-10-27
• 發(fā)明（設(shè)計(jì)）人: 韓慧健;張銳;賈可亮;劉崢;梁秀霞;其他發(fā)明人請求不公開姓名
• 申請（專利權(quán)）人: 韓慧健
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00
• 代理公司: 北京元本知識產(chǎn)權(quán)代理事務(wù)所11308
• 代理人: 秦力軍

技術(shù)領(lǐng)域

本發(fā)明涉及手勢動畫研究領(lǐng)域，更具體地說涉及到手勢動畫合成中基于手勢識別的手勢運(yùn)動基元過渡幀定位方法。

背景技術(shù)

語言伴隨性手勢合成是以自然語言理解為基礎(chǔ)，使用手勢作為虛擬人語言信息表達(dá)的輔助輸出方式。已有手勢合成研究主要集中在以自然文本漢語詞與手語詞映射為基礎(chǔ)的手語動畫合成，并未考慮語言伴隨手勢，使得虛擬人類似于機(jī)器人一樣機(jī)械運(yùn)動，無法滿足人機(jī)交互的智能性和交互性要求，在交互性和真實(shí)感方面還有待提升。在人機(jī)交互過程中，通過語言伴隨性手勢合成研究能夠?yàn)槿藱C(jī)交互中手勢和語音協(xié)同表達(dá)提供解決方案，提高手勢動畫的真實(shí)感，實(shí)現(xiàn)虛擬人生動、形象、直觀的視覺運(yùn)動效果。

手勢識別主要是通過分析手勢具有的各種特征實(shí)現(xiàn)對手勢的判斷，這些特征主要包括顏色特征、紋理特征、形狀特征、輪廓特征及動態(tài)手勢具有的運(yùn)動特征等。目前，手勢識別系統(tǒng)主要分為基于數(shù)據(jù)手套的識別系統(tǒng)和基于視覺的識別系統(tǒng)?；跀?shù)據(jù)手套的識別系統(tǒng)主要通過傳感器獲取人手運(yùn)動的信號，這種方式更有利于獲取手勢運(yùn)動信息；然而,這些設(shè)備價(jià)格非常昂貴而且在使用這些設(shè)備的同時(shí)往往給用戶帶來諸多不便。但是，基于視覺的識別系統(tǒng)由于不需要價(jià)格昂貴的硬件設(shè)備，因此越來越適合人機(jī)交互技術(shù)。早期的基于視覺的手勢識別系統(tǒng)往往需要對手勢進(jìn)行標(biāo)記然后再進(jìn)行圖像處理；然而，目前基于視覺的手勢識別系統(tǒng)主要是利用手勢特征如手勢顏色、手勢形狀、手勢輪廓或其他深度信息進(jìn)行識別?；谝曈X的手勢識別系統(tǒng)可以識別輸入視頻中的不同手勢，并且用這些手勢作為計(jì)算機(jī)的人工輸入命令，并且可以建立包括有完整人物及其手勢的圖庫、并且這種手勢識別系統(tǒng)由于設(shè)備簡單，因而使用方便有效。基于視覺的手勢識別系統(tǒng)為人機(jī)交互提供了一種直觀的交流方式。

語言伴隨性手勢作為一種動作語言，是手和手臂運(yùn)動的統(tǒng)一，需要計(jì)算機(jī)動畫來實(shí)現(xiàn)具體動作。人體的外形主要由皮膚和所附著骨骼肌肉運(yùn)動決定的，因此，在描述手勢動作之前必須先建立一個(gè)靜態(tài)幾何模型，通過激活具有大量關(guān)節(jié)的復(fù)雜模型，根據(jù)決定運(yùn)動的幾個(gè)主關(guān)節(jié)的最終角度可以確定手臂運(yùn)動，從而創(chuàng)建精確靈活的基本手勢動作單元——手勢運(yùn)動基元。根據(jù)伴隨語言學(xué)和統(tǒng)計(jì)學(xué)分析，基于語言連貫表達(dá)的手勢運(yùn)動基元連接能夠?qū)崿F(xiàn)的手勢和有聲語言的協(xié)同表達(dá)，提高運(yùn)動合成效果和真實(shí)感。然而，目前虛擬人并非基于真人圖像建立，不夠生動真實(shí)，并且虛擬人模型固定，無法根據(jù)環(huán)境和需要進(jìn)行變換。

此外，手勢和語言是時(shí)序并行輸出的，手勢運(yùn)動要素會隨著語言的連貫表達(dá)而時(shí)刻變化。當(dāng)人們進(jìn)行口語交流時(shí)形成連續(xù)不斷的語流，同樣手勢姿態(tài)連續(xù)表達(dá)會生成相應(yīng)的手勢動作，語言和手勢之間存在相互的層級關(guān)系。作為生成手勢動畫的基礎(chǔ)，如何實(shí)現(xiàn)基本的手勢動作在語言中的定位成為語言伴隨學(xué)和虛擬現(xiàn)實(shí)技術(shù)的研究難點(diǎn)。隨著計(jì)算機(jī)技術(shù)的進(jìn)一步發(fā)展，數(shù)字媒體技術(shù)的出現(xiàn)為手勢與語言映射提供了解決方案——音視頻數(shù)據(jù)分析。通過對音視頻數(shù)據(jù)進(jìn)行分析，將其中的語言和手勢進(jìn)行轉(zhuǎn)寫，并標(biāo)記對應(yīng)位置，將能夠有效地實(shí)現(xiàn)手勢與語言的協(xié)同表達(dá)。

然而，現(xiàn)有的方法存在諸多不足源于所處理的主要是非結(jié)構(gòu)化運(yùn)動模型之間的過渡，運(yùn)動過渡關(guān)鍵幀只能實(shí)現(xiàn)時(shí)序性，單純靠關(guān)鍵幀數(shù)值相似度計(jì)算進(jìn)行運(yùn)動平滑容易造成運(yùn)動細(xì)節(jié)丟失。大多數(shù)運(yùn)動過渡都會在運(yùn)動過程中產(chǎn)生一個(gè)微小的不連貫，但是如果一個(gè)運(yùn)動序列僅是從一個(gè)運(yùn)動姿態(tài)直接跳轉(zhuǎn)到另一個(gè)運(yùn)動姿態(tài)，將會產(chǎn)生運(yùn)動跳躍現(xiàn)象影響動畫合成的可理解性和真實(shí)感，主要以手臂運(yùn)動為主的虛擬人手勢動作之間平滑過渡則要更復(fù)雜些，因?yàn)閮蓚€(gè)手勢動作之間運(yùn)動幅度較大，前一個(gè)手勢動作的最后一個(gè)手勢姿態(tài)(最后一幀)與下一個(gè)手勢動作的第1個(gè)手勢姿態(tài)(第1幀)之間一般不存在運(yùn)動相關(guān)性，并且它們之間的差別可以是任意的，如果不做平滑處理，必然導(dǎo)致手勢動作的跳躍現(xiàn)象。

本發(fā)明利用具有結(jié)構(gòu)化和實(shí)例化的手勢運(yùn)動模型不但消除了運(yùn)動跨度過大導(dǎo)致運(yùn)動過渡難以實(shí)現(xiàn)問題，還有效地實(shí)現(xiàn)了運(yùn)動細(xì)節(jié)的增強(qiáng)與保持，還提出了關(guān)鍵幀相似度閾值分析的高階四元數(shù)插值方法對待合成的整個(gè)關(guān)鍵幀序列(而不是僅對過渡幀)進(jìn)行插值平滑以協(xié)調(diào)過渡前后的運(yùn)動序列。

發(fā)明內(nèi)容