[發(fā)明專利]三維人臉的唇動控制方法、設(shè)備和介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110221201.4
• 申請日: 2021-02-26
• 公開（公告）號: CN113035198A
• 公開（公告）日: 2021-06-25
• 發(fā)明（設(shè)計(jì)）人: 郭紫垣;趙亞飛;陳超;張世昌
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G10L15/25
• 分類號: G10L15/25;G06K9/00;G06F40/289
• 代理公司: 北京市漢坤律師事務(wù)所 11602
• 代理人: 姜浩然;吳麗麗

1.一種三維人臉的唇動控制方法，包括：

對目標(biāo)語音相應(yīng)的文本進(jìn)行切分，得到一個(gè)或多個(gè)字；

基于目標(biāo)語音的音色特征，從向量庫中獲取所述一個(gè)或多個(gè)字中每一個(gè)字相應(yīng)的第一向量，所述向量庫包括與每一個(gè)字相應(yīng)的不同于第一向量的第二向量；

至少基于所述一個(gè)或多個(gè)字相應(yīng)的一個(gè)或多個(gè)第一向量，確定與所述目標(biāo)語音相應(yīng)的目標(biāo)混合系數(shù)；以及

至少基于所述目標(biāo)混合系數(shù)控制所述三維人臉的唇動，以使得所述三維人臉的唇動適配所述目標(biāo)語音。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述向量庫包括多個(gè)向量盒，每一個(gè)向量盒包括多個(gè)字和多個(gè)向量之間的相應(yīng)關(guān)系，所述多個(gè)向量盒中與同一個(gè)字相應(yīng)的向量不同。

3.根據(jù)權(quán)利要求2所述的方法，其中，基于目標(biāo)語音的音色特征，從向量庫中獲取所述目標(biāo)語音中每一個(gè)字相應(yīng)的第一向量包括：

基于目標(biāo)語音的音色特征，從所述多個(gè)向量盒中確定所述目標(biāo)語音對應(yīng)的目標(biāo)向量盒；

從所述目標(biāo)向量盒中獲取所述目標(biāo)語音中每一個(gè)字相應(yīng)的第一向量。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述目標(biāo)語音為目標(biāo)用戶的語音，

其中，基于目標(biāo)語音的音色特征，從所述多個(gè)向量盒中確定所述目標(biāo)語音對應(yīng)的目標(biāo)向量盒包括：

獲取所述目標(biāo)用戶的預(yù)設(shè)語音，所述預(yù)設(shè)語音能夠表征所述目標(biāo)語音的音色特征；

從所述向量庫的至少一部分向量盒中的每一個(gè)向量盒中獲取所述預(yù)設(shè)語音對應(yīng)的預(yù)設(shè)向量；

針對從至少一部分向量盒中所獲取的多個(gè)預(yù)設(shè)向量，確定與每一個(gè)預(yù)設(shè)向量相應(yīng)的預(yù)設(shè)混合系數(shù)；

基于與所述多個(gè)預(yù)設(shè)向量相應(yīng)的多個(gè)預(yù)設(shè)混合系數(shù)分別對所述三維人臉進(jìn)行唇動控制；

基于所述三維人臉的針對多個(gè)預(yù)設(shè)向量的唇動，確定其中一個(gè)預(yù)設(shè)向量所在的向量盒為所述目標(biāo)向量盒。

5.根據(jù)權(quán)利要求4所述的方法，其中，所述預(yù)設(shè)語音為爆破音語音、閉口音語音或張口音語音。

6.根據(jù)權(quán)利要求2所述的方法，其中，所述目標(biāo)語音為目標(biāo)用戶的語音，并且所述方法還包括：

存儲所述向量庫中向量盒和用戶之間的對應(yīng)關(guān)系，

其中，基于目標(biāo)語音的音色特征，從向量庫中獲取所述目標(biāo)語音中每一個(gè)字相應(yīng)的第一向量包括：

響應(yīng)于基于所述對應(yīng)關(guān)系確定所述向量庫中包括與所述目標(biāo)用戶對應(yīng)的目標(biāo)向量盒，從所述目標(biāo)向量盒中獲取所述目標(biāo)語音中每一個(gè)字相應(yīng)的第一向量。

7.根據(jù)權(quán)利要求6所述的方法，還包括：

響應(yīng)于基于所述對應(yīng)關(guān)系確定所述向量庫中不包括與所述目標(biāo)用戶對應(yīng)的目標(biāo)向量盒，基于目標(biāo)語音的音色特征，從所述向量盒中確定所述目標(biāo)語音對應(yīng)的目標(biāo)向量盒；以及

存儲所述向量庫中所述目標(biāo)向量盒和所述目標(biāo)用戶之間的對應(yīng)關(guān)系。

8.根據(jù)權(quán)利要求1所述的方法，其中，至少基于所述一個(gè)或多個(gè)字相應(yīng)的一個(gè)或多個(gè)向量，確定與所述目標(biāo)語音相應(yīng)的目標(biāo)混合系數(shù)包括：

至少將所述一個(gè)或多個(gè)字相應(yīng)的一個(gè)或多個(gè)向量輸入唇動模型，獲取所述唇動模型所輸出的與所述目標(biāo)語音相應(yīng)的目標(biāo)混合系數(shù)。

9.根據(jù)權(quán)利要求1-8中任一項(xiàng)所述的方法，還包括：

獲取所述目標(biāo)語音的目標(biāo)用戶的聲音特征，

其中，至少基于所述一個(gè)或多個(gè)字相應(yīng)的一個(gè)或多個(gè)向量，確定與所述目標(biāo)語音相應(yīng)的目標(biāo)混合系數(shù)包括：

基于所述一個(gè)或多個(gè)字相應(yīng)的一個(gè)或多個(gè)向量，以及所述目標(biāo)用戶的聲音特征，確定與所述目標(biāo)語音相應(yīng)的目標(biāo)混合系數(shù)。

10.根據(jù)權(quán)利要求9所述的方法，其中，獲取所述目標(biāo)用戶的聲音特征包括：

存儲多個(gè)用戶與多個(gè)聲音特征之間的對應(yīng)關(guān)系；

基于所存儲的用戶與聲音特征之間的對應(yīng)關(guān)系，查找所述目標(biāo)用戶的聲音特征。