[發(fā)明專利]動畫生成方法和裝置

在審

• 申請?zhí)枺?/td>: 201811037239.0
• 申請日: 2018-09-06
• 公開（公告）號: CN110880198A
• 公開（公告）日: 2020-03-13
• 發(fā)明（設(shè)計）人: 陳昌濱;卞衍堯;傅宇韜
• 申請（專利權(quán)）人: 百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40
• 代理公司: 北京英賽嘉華知識產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

本申請實施例公開了動畫生成方法和裝置。所述方法的一實施例包括：響應(yīng)于接收到輸入文本，獲取輸入文本的動畫標(biāo)簽，并得到輸入文本中的詞和動作之間的對應(yīng)關(guān)系；生成與輸入文本對應(yīng)的語音；將基于所得到的對應(yīng)關(guān)系對預(yù)設(shè)的人物形象的模型進行渲染生成的視頻和所生成的語音合并，生成人物形象的動畫。該實現(xiàn)方式可以使得生成的動畫中，人物形象的動作能夠自然而準(zhǔn)確地體現(xiàn)輸入文本所表達(dá)的含義。

技術(shù)領(lǐng)域

本申請實施例涉及多媒體領(lǐng)域，具體涉及計算機視覺領(lǐng)域，尤其涉及動畫生成方法和裝置。

背景技術(shù)

隨著人工智能技術(shù)的發(fā)展，越來越多的可與人語音交互的智能產(chǎn)品問世。但是這些產(chǎn)品都缺乏直觀的交互形象，在交互過程中用戶只能聽到聲音。如果在智能產(chǎn)品中加入動畫形象，可以讓用戶產(chǎn)生與自然人交流相似的感覺，能夠提升用戶的體驗。為了達(dá)到讓用戶產(chǎn)生與自然人交流的感覺，需要在可交互的設(shè)備上實時的產(chǎn)生生動的形象，需要自然的表情、動作以及相應(yīng)的與聲音同步的口型動畫。

現(xiàn)有的動畫制作方式，通常需要對于人物的聲音，唇動，表情和動作的設(shè)計需要進行逐幀的繪制和設(shè)計。在3D(three dimensional，三維)動畫的制作過程中，對于聲音和畫面結(jié)合的方式的是通過配音后進行動畫調(diào)整，或者根據(jù)動畫進行配音的。此外，人物形象的動作、表情和唇部動作均需要通過動畫師進行逐幀繪制，需要大量的勞動和時間成本。

發(fā)明內(nèi)容

本申請實施例提出了動畫生成方法和裝置。

第一方面，本申請實施例提供了一種動畫生成方法，包括：響應(yīng)于接收到輸入文本，獲取輸入文本的動畫標(biāo)簽，并得到輸入文本中的詞和動作之間的對應(yīng)關(guān)系；生成與輸入文本對應(yīng)的語音；將基于所得到的對應(yīng)關(guān)系對預(yù)設(shè)的人物形象的模型進行渲染生成的視頻和所生成的語音合并，生成人物形象的動畫。

在一些實施例中，生成與輸入文本對應(yīng)的語音包括：解析輸入文本生成音素序列；基于所生成的音素序列，合成得到與輸入文本對應(yīng)的語音。

在一些實施例中，生成與輸入文本對應(yīng)的語音還包括：確定與音素序列對應(yīng)的口型系數(shù)序列；基于所得到的對應(yīng)關(guān)系和語音，對預(yù)設(shè)的人物形象進行渲染，生成人物形象的動畫進一步包括：將基于所得到的對應(yīng)關(guān)系和口型系數(shù)序列對預(yù)設(shè)的人物形象的模型進行渲染生成的視頻，以及所生成的語音合并，生成人物形象的動畫。

在一些實施例中，響應(yīng)于接收到輸入文本，獲取輸入文本的動畫標(biāo)簽，并得到輸入文本中的詞和動作之間的對應(yīng)關(guān)系包括：將輸入文本輸入預(yù)先訓(xùn)練的動畫標(biāo)簽獲取模型，以得到輸入文本中的詞和動畫標(biāo)簽之間的對應(yīng)關(guān)系；基于輸入文本中的詞和動畫標(biāo)簽之間的對應(yīng)關(guān)系，生成動作系數(shù)序列，并將動作系數(shù)序列作為輸入文本中的詞和動作之間的對應(yīng)關(guān)系。

在一些實施例中，動畫標(biāo)簽包括表情標(biāo)簽和動作標(biāo)簽，動畫標(biāo)簽獲取模型包括情感預(yù)測子模型和動作預(yù)測子模型，將輸入文本輸入預(yù)先訓(xùn)練的動畫標(biāo)簽獲取模型，以得到輸入文本中的詞和動畫標(biāo)簽之間的對應(yīng)關(guān)系包括：將輸入文本輸入至預(yù)先訓(xùn)練的情感預(yù)測子模型，得到輸入文本所包含的詞和詞的情感傾向的對應(yīng)關(guān)系；基于輸入文本所包含的詞和詞的情感傾向的對應(yīng)關(guān)系確定輸入文本所包含的詞和預(yù)設(shè)表情標(biāo)簽之間的對應(yīng)關(guān)系；將輸入文本所包含的詞和詞的預(yù)設(shè)表情標(biāo)簽之間的對應(yīng)關(guān)系，輸入動作預(yù)測子模型，以得到動作系數(shù)序列，其中，動作系數(shù)序列用于指示輸入文本所包含的詞和詞的動作標(biāo)簽之間的對應(yīng)關(guān)系。

在一些實施例中，動作標(biāo)簽所指示的動作包括四肢動作、軀干動作和頭部動作中的至少一者。

在一些實施例中，生成與輸入文本對應(yīng)的語音進一步包括：將輸入文本輸入預(yù)先建立的語音口型生成模型，得到與輸入文本對應(yīng)的語音和口型系數(shù)序列。