[發明專利]一種模擬虛擬人物說話的方法及裝置

在審

• 申請號: 202210050718.6
• 申請日: 2022-01-17
• 公開（公告）號: CN114359450A
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 余國軍;耿俊懷
• 申請（專利權）人: 小哆智能科技（北京）有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40;G10L15/00;G10L15/02;G10L15/08
• 代理公司: 北京知呱呱知識產權代理有限公司 11577
• 代理人: 朱芳

1.一種模擬虛擬人物說話的方法，其特征在于，所述方法包括：

根據多個音素分類，制作與每個所述音素分類對應的口型，得到多個基礎口型；

輸入音頻流，提取所述音頻流的音頻幀，識別所述音頻幀的音素；

從所述多個音素分類中，確定與所述音頻幀的音素對應的所述音素分類，選擇與之對應的所述基礎口型；

將選擇的所述基礎口型合成所述音頻幀的對應口型。

2.根據權利要求1所述的方法，其特征在于，所述多個音素分類包括：

(p，b，m)、(f，v)、(th)、(t，d)、(k，g)、(tS，dZ，S)、(s，z)、(n，l)、(r)、(A)、(e)、(ih)、(oh)、(ou)。

3.根據權利要求1所述的方法，其特征在于，

在所述音頻流中，提取2.5ms至60ms為單位的數據量為一幀音頻。

4.根據權利要求1所述的方法，其特征在于，所述方法還包括：

制作虛擬人物模型，根據所述音頻幀的對應口型，生成所述虛擬人物的口型。

5.根據權利要求1所述的方法，其特征在于，

所述多個基礎口型還包括：嘴閉合口型和通用口型。

6.根據權利要求5所述的方法，其特征在于，

當從所述音頻幀中識別的音素不在所述多個音素分類中時，選擇所述通用口型作為基礎口型；

當從所述音頻幀中未識別出音素時，選擇所述嘴閉合口型作為基礎口型。

7.一種模擬虛擬人物說話的裝置，其特征在于，所述裝置包括：

基礎口型生成單元(102)，用于根據多個音素分類，制作與每個所述音素分類對應的口型，得到多個基礎口型；

音素提取單元(104)，用于輸入音頻流，提取所述音頻流的音頻幀，識別所述音頻幀的音素；

基礎口型確定單元(106)，用于從所述多個音素分類中，確定與所述音頻幀的音素對應的所述音素分類，選擇與之對應的所述基礎口型；

口型合成單元(108)，用于將選擇的所述基礎口型合成所述音頻幀的對應口型。

8.一種計算機可讀存儲介質，其特征在于，其上存儲有計算機程序，當所述計算機程序在計算機中執行時，令計算機執行權利要求1-6中任一項所述的方法。

9.一種計算設備，其特征在于，包括存儲器和處理器，所述存儲器中存儲有可執行代碼，所述處理器執行所述可執行代碼時，實現權利要求1-6中任一項所述的方法。