[發(fā)明專利]三維人臉的唇動(dòng)控制方法、設(shè)備和介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110221201.4
• 申請日: 2021-02-26
• 公開（公告）號(hào): CN113035198A
• 公開（公告）日: 2021-06-25
• 發(fā)明（設(shè)計(jì)）人: 郭紫垣;趙亞飛;陳超;張世昌
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G10L15/25
• 分類號(hào): G10L15/25;G06K9/00;G06F40/289
• 代理公司: 北京市漢坤律師事務(wù)所 11602
• 代理人: 姜浩然;吳麗麗

本公開提供了一種三維人臉的唇動(dòng)控制方法，涉及人工智能技術(shù)領(lǐng)域，尤其涉及深度學(xué)習(xí)和語音處理技術(shù)領(lǐng)域。實(shí)現(xiàn)方案為：首先，對目標(biāo)語音相應(yīng)的文本進(jìn)行切分，得到一個(gè)或多個(gè)字；然后，基于目標(biāo)語音的音色特征，從向量庫中獲取所述一個(gè)或多個(gè)字中每一個(gè)字相應(yīng)的第一向量，所述向量庫包括與每一個(gè)字相應(yīng)的不同于第一向量的第二向量；至少基于所述一個(gè)或多個(gè)字相應(yīng)的一個(gè)或多個(gè)第一向量，確定與所述目標(biāo)語音相應(yīng)的目標(biāo)混合系數(shù)；至少基于所述目標(biāo)混合系數(shù)控制所述三維人臉的唇動(dòng)，以使得所述三維人臉的唇動(dòng)適配所述目標(biāo)語音。

技術(shù)領(lǐng)域

本公開涉及人工智能技術(shù)領(lǐng)域，尤其涉及深度學(xué)習(xí)和語音處理技術(shù)領(lǐng)域，具體涉及一種三維人臉的唇動(dòng)控制方法、裝置、電子設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)

人工智能是研究使計(jì)算機(jī)來模擬人的某些思維過程和智能行為(如學(xué)習(xí)、推理、思考、規(guī)劃等)的學(xué)科，既有硬件層面的技術(shù)也有軟件層面的技術(shù)。人工智能硬件技術(shù)一般包括如傳感器、專用人工智能芯片、云計(jì)算、分布式存儲(chǔ)、大數(shù)據(jù)處理等技術(shù):人工智能軟件技術(shù)主要包括計(jì)算機(jī)視覺技術(shù)、語音識(shí)別技術(shù)、自然語言處理技術(shù)以及機(jī)器學(xué)習(xí)/深度學(xué)習(xí)、大數(shù)據(jù)處理技術(shù)、知識(shí)圖譜技術(shù)等幾大方向。

根據(jù)語音生成相應(yīng)唇動(dòng)的語音唇動(dòng)擬合技術(shù)，是虛擬主播、虛擬形象機(jī)器人、動(dòng)畫角色嘴型設(shè)計(jì)等應(yīng)用的基礎(chǔ)技術(shù)之一。

在此部分中描述的方法不一定是之前已經(jīng)設(shè)想到或采用的方法。除非另有指明，否則不應(yīng)假定此部分中描述的任何方法僅因其包括在此部分中就被認(rèn)為是現(xiàn)有技術(shù)。類似地，除非另有指明，否則此部分中提及的問題不應(yīng)認(rèn)為在任何現(xiàn)有技術(shù)中已被公認(rèn)。

發(fā)明內(nèi)容

本公開提供了一種三維人臉的唇動(dòng)控制方法、裝置、電子設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。

根據(jù)本公開的一方面，提供了一種三維人臉的唇動(dòng)控制方法，包括：對目標(biāo)語音相應(yīng)的文本進(jìn)行切分，得到一個(gè)或多個(gè)字；基于目標(biāo)語音的音色特征，從向量庫中獲取所述一個(gè)或多個(gè)字中每一個(gè)字相應(yīng)的第一向量，所述向量庫包括與每一個(gè)字相應(yīng)的不同于第一向量的第二向量；至少基于所述一個(gè)或多個(gè)字相應(yīng)的一個(gè)或多個(gè)第一向量，確定與所述目標(biāo)語音相應(yīng)的目標(biāo)混合系數(shù)；以及至少基于所述目標(biāo)混合系數(shù)控制所述三維人臉的唇動(dòng)，以使得所述三維人臉的唇動(dòng)適配所述目標(biāo)語音。

根據(jù)本公開的一方面，提供了唇動(dòng)模型的訓(xùn)練方法，包括：獲取樣本用戶的樣本語音以及所述樣本語音相應(yīng)的真實(shí)混合系數(shù)；對所述樣本語音相應(yīng)的文本進(jìn)行切分，得到一個(gè)或多個(gè)字；將所述一個(gè)或多個(gè)字輸入特征向量層，獲取所述特征向量層輸出的所述一個(gè)或多個(gè)字中每一個(gè)字的第三向量，所述特征向量層被配置為基于所述樣本用戶的音色特征輸出的所述一個(gè)或多個(gè)字中每一個(gè)字的第三向量，所述特征向量層能夠輸出每一個(gè)字的不同于第三向量的第四向量；至少將所述一個(gè)或多個(gè)字相應(yīng)的一個(gè)或多個(gè)第三向量輸入所述唇動(dòng)模型，并獲取所述唇動(dòng)模型輸出的預(yù)測混合系數(shù)；以及基于所述真實(shí)混合系數(shù)和預(yù)測混合系數(shù)之間的損失值，調(diào)整所述唇動(dòng)模型和所述特征向量層的參數(shù)。

根據(jù)本公開的另一方面，提供了一種三維人臉的唇動(dòng)控制裝置，包括：第一文本切分模塊，被配置用于對目標(biāo)語音相應(yīng)的文本進(jìn)行切分，得到一個(gè)或多個(gè)字；第一獲取模塊，被配置用于基于目標(biāo)語音的音色特征，從向量庫中獲取所述一個(gè)或多個(gè)字中每一個(gè)字相應(yīng)的第一向量，所述向量庫包括與每一個(gè)字相應(yīng)的不同于第一向量的第二向量；確定模塊，被配置用于至少基于所述一個(gè)或多個(gè)字相應(yīng)的一個(gè)或多個(gè)第一向量，確定與所述目標(biāo)語音相應(yīng)的目標(biāo)混合系數(shù)；以及控制模塊，被配置用于至少基于所述目標(biāo)混合系數(shù)控制所述三維人臉的唇動(dòng)，以使得所述三維人臉的唇動(dòng)適配所述目標(biāo)語音。