[發(fā)明專利]一種基于多個(gè)單獨(dú)手語(yǔ)動(dòng)作產(chǎn)生連續(xù)手語(yǔ)動(dòng)作的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010129177.7
• 申請(qǐng)日: 2020-02-28
• 公開(kāi)（公告）號(hào): CN111369652A
• 公開(kāi)（公告）日: 2020-07-03
• 發(fā)明（設(shè)計(jì)）人: 高鑄道;肖涵;高春鳴;郭松睿
• 申請(qǐng)（專利權(quán)）人: 長(zhǎng)沙千博信息技術(shù)有限公司
• 主分類號(hào): G06T13/40
• 分類號(hào): G06T13/40;G06F3/01;G06F40/289
• 代理公司: 北京市浩東律師事務(wù)所 11499
• 代理人: 李瓊

本發(fā)明涉及計(jì)算機(jī)三維動(dòng)畫(huà)技術(shù)領(lǐng)域，且公開(kāi)了一種基于多個(gè)單獨(dú)手語(yǔ)動(dòng)作產(chǎn)生連續(xù)手語(yǔ)動(dòng)作的人物動(dòng)作模擬方法，包括以下階段：1、數(shù)據(jù)預(yù)處理階段：制作多個(gè)單獨(dú)手語(yǔ)動(dòng)作，劃分和標(biāo)注動(dòng)作的時(shí)間，以及將制作好的多個(gè)單獨(dú)手語(yǔ)動(dòng)作存儲(chǔ)在服務(wù)器端；2、實(shí)時(shí)計(jì)算階段：設(shè)定連續(xù)手語(yǔ)目標(biāo)，自然語(yǔ)言處理目標(biāo)得到需求的多個(gè)單獨(dú)手語(yǔ)動(dòng)作，按照算法處理這些單獨(dú)手語(yǔ)動(dòng)作，產(chǎn)生連續(xù)手語(yǔ)動(dòng)作。使用該基于多單獨(dú)手語(yǔ)動(dòng)作產(chǎn)生連續(xù)手語(yǔ)動(dòng)作的方法，使得虛擬人物在能夠像真實(shí)人物一樣實(shí)時(shí)連續(xù)打手語(yǔ)，有利于降低制作周期，有利于打破正常人和聽(tīng)障人的溝通障礙，提升溝通效率。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)三維動(dòng)畫(huà)技術(shù)領(lǐng)域，具體為一種基于多個(gè)單獨(dú)手語(yǔ)動(dòng)作產(chǎn)生連續(xù)手語(yǔ)動(dòng)作的方法。

背景技術(shù)

隨著計(jì)算機(jī)三維動(dòng)作技術(shù)不斷的發(fā)展，利用虛擬人物打出準(zhǔn)確和連續(xù)的手語(yǔ)對(duì)打破正常人與聽(tīng)障人溝通障礙的需求變得非常重要。虛擬人物通常可以在虛擬場(chǎng)景中做出各種各樣的仿真肢體動(dòng)作，比如行走、跳和抓等，其中虛擬人物通過(guò)打連續(xù)的手語(yǔ)可以極大強(qiáng)化正常人與聽(tīng)障人的溝通交流。

目前在使用虛擬人物打手語(yǔ)方面，通常通過(guò)直接制作連續(xù)手語(yǔ)動(dòng)作數(shù)據(jù)，對(duì)虛擬人物直接進(jìn)行驅(qū)動(dòng)，該方法雖然可以保證手語(yǔ)動(dòng)作的準(zhǔn)確性和連續(xù)性，但是這種模擬方式只能將手語(yǔ)限定在一個(gè)相對(duì)較小的范圍中，無(wú)法處理不在此范圍的手語(yǔ)需求，同時(shí)人物缺乏實(shí)時(shí)交互能力，無(wú)法真正打破正常人和聽(tīng)障人的交流障礙，如果不采用上述驅(qū)動(dòng)方式，通常需要提前制作大量的連續(xù)手語(yǔ)動(dòng)作數(shù)據(jù)，并限定手語(yǔ)范圍，且無(wú)法進(jìn)行實(shí)時(shí)交互，故而提出了一種基于多個(gè)單獨(dú)手語(yǔ)動(dòng)作產(chǎn)生連續(xù)手語(yǔ)動(dòng)作的方法來(lái)解決上述提出的問(wèn)題。

發(fā)明內(nèi)容

(一)解決的技術(shù)問(wèn)題

針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于多個(gè)單獨(dú)手語(yǔ)動(dòng)作產(chǎn)生連續(xù)手語(yǔ)動(dòng)作的方法，具備能保證動(dòng)作連續(xù)性、實(shí)時(shí)性等優(yōu)點(diǎn)，解決了目前其他連續(xù)手語(yǔ)方案中，數(shù)據(jù)制作量大，限定目標(biāo)連續(xù)手語(yǔ)范圍、無(wú)法實(shí)時(shí)交互的問(wèn)題。

(二)技術(shù)方案

為實(shí)現(xiàn)上述虛擬人打手語(yǔ)的連續(xù)性和實(shí)時(shí)交互性，本發(fā)明提供如下技術(shù)方案：

動(dòng)作數(shù)據(jù)預(yù)處理階段：

步驟(1)：制作多個(gè)單獨(dú)手語(yǔ)動(dòng)作數(shù)據(jù)。通過(guò)動(dòng)作捕捉設(shè)備結(jié)合美工修正的方式制作多個(gè)單獨(dú)手語(yǔ)動(dòng)作，包含大量動(dòng)作動(dòng)畫(huà)數(shù)據(jù)M，

M＝{M₁，M₂，...，M_num}，num∈N，

其中num為一個(gè)較大的自然數(shù)，使得M能夠包含足夠多的單獨(dú)手語(yǔ)動(dòng)作。這些動(dòng)作數(shù)據(jù)最終被抽象為虛擬人物骨骼的所有重要關(guān)節(jié)的旋轉(zhuǎn)數(shù)據(jù)以及位移數(shù)據(jù)；

步驟(2)：標(biāo)注動(dòng)作的時(shí)間戳，劃分動(dòng)作。目標(biāo)是根據(jù)語(yǔ)義將每一個(gè)單獨(dú)手語(yǔ)動(dòng)作劃分為抬手、動(dòng)作、放手三段，并使用時(shí)間戳標(biāo)記劃分點(diǎn)：將開(kāi)始的時(shí)間點(diǎn)標(biāo)記為t_start，從開(kāi)始到抬手完成的時(shí)間點(diǎn)標(biāo)記為t_ready，抬手完成到手語(yǔ)動(dòng)作完成，準(zhǔn)備放手的時(shí)間點(diǎn)標(biāo)記為t_relax，開(kāi)始放手到整個(gè)動(dòng)作完成的時(shí)間點(diǎn)標(biāo)記為t_stop；

步驟(3)：將經(jīng)過(guò)預(yù)處理的動(dòng)作數(shù)據(jù)，存儲(chǔ)在服務(wù)器端。制作好的單獨(dú)手語(yǔ)動(dòng)作數(shù)據(jù)首先被存儲(chǔ)在服務(wù)器端，在需要時(shí)會(huì)下載其中一部分到客戶端。

實(shí)時(shí)計(jì)算階段：

步驟(4)：設(shè)定目標(biāo)連續(xù)手語(yǔ)L，這通常是一句自然語(yǔ)言，如“你好，今天天氣怎么樣？”，即L＝“你好，今天天氣怎么樣？”

步驟(5)：使用自然語(yǔ)言處理程序?qū)進(jìn)行分詞，得到可用的手語(yǔ)動(dòng)作序列Seq，其由一系列有序的分詞組成，即

Seq＝{Segment₁，Segment₂，...，Segment_k}，