[發(fā)明專利]基于虛擬人的手語新聞播報方法

有效

• 申請?zhí)枺?/td>: 200910188625.4
• 申請日: 2009-12-04
• 公開（公告）號: CN101727766A
• 公開（公告）日: 2010-06-09
• 發(fā)明（設(shè)計）人: 王軒;趙海楠;于成龍;許欣欣
• 申請（專利權(quán)）人: 哈爾濱工業(yè)大學(xué)深圳研究生院
• 主分類號: G09B21/00
• 分類號: G09B21/00;G06F19/00
• 代理公司: 深圳市科吉華烽知識產(chǎn)權(quán)事務(wù)所 44248
• 代理人: 胡吉科

1.一種基于虛擬人的手語新聞播報方法，其包括以下步驟：S1采用H-Anim標(biāo)準(zhǔn)對虛擬人建模，實(shí)現(xiàn)關(guān)節(jié)角向量到虛擬人特定手勢姿態(tài)的映射，生成手語幀序列；S2對手語新聞播報過程中手語與聲音同步進(jìn)行分析，對幀向量進(jìn)行簡化，計算幀權(quán)值，對幀序列進(jìn)行優(yōu)化；S3對視頻流進(jìn)行處理，從而將優(yōu)化過的虛擬人手語表達(dá)的動畫實(shí)時添加到視頻流中，最終實(shí)現(xiàn)了手語與語音的同步播報；

對幀向量進(jìn)行簡化包括以下步驟：a基于手指遠(yuǎn)指關(guān)節(jié)DIP與其近指關(guān)節(jié)PIP間的運(yùn)動關(guān)聯(lián)性，在幀向量中去掉除拇指之外的其余四指中表示DIP關(guān)節(jié)的自由度，每只手中共計4個；b基于除拇指之外其余四指的指掌關(guān)節(jié)在屈曲方向的運(yùn)動關(guān)聯(lián)性，在幀向量中去掉中指及無名指中表示PIP指關(guān)節(jié)的自由度以及指掌關(guān)節(jié)中表示屈曲方向的自由度，每只手中共計4個；c基于拇指腕掌關(guān)節(jié)CM與拇指指掌關(guān)節(jié)MP的運(yùn)動關(guān)聯(lián)性，在幀向量中去掉拇指中表示MP關(guān)節(jié)的自由度，每只手1個；

所述的計算幀權(quán)值包括以下步驟：(1)在句子的起始處和末尾處增加兩個虛擬幀，其幀向量分別與原句子首幀和末幀的幀向量相同；

(2)定義δ_(i-1，i)為第i幀與第i-1幀之間的變化量，其計算公式如下：

δ(i-1,i)=Σj=138(Gθji-Gθji-1)2]]>

其中保證句子的首幀和末幀不會在優(yōu)化過程中被丟掉，規(guī)定若δ_(i-1，i)的值為0，則令δ_(i-1，i)＝∞；

(3)最后得出幀的權(quán)值計算公式：

Qi=δ(i-1,i)+δ(i,i+1)=Σj=138(Gθji-Gθji-1)2+Σj=138(Gθji+1-Gθji)2]]>

其中Q_i為幀的權(quán)值，G為虛擬人手勢姿態(tài)的向量，θ為自由度向量。