[發明專利]一種生成動畫人物口型的方法及裝置

有效

• 申請號: 202010042300.1
• 申請日: 2020-01-15
• 公開（公告）號: CN111260761B
• 公開（公告）日: 2023-05-09
• 發明（設計）人: 程大治;夏龍;吳凡;卓邦聲;高強;馬楠;郭常圳
• 申請（專利權）人: 北京猿力未來科技有限公司
• 主分類號: G06T13/20
• 分類號: G06T13/20;G06T13/40;G10L15/02
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 劉曉楠

1.一種生成動畫人物口型的方法，其特征在于，包括：

接收語音音頻和所述語音音頻對應的語音文本；

獲取所述語音音頻的每個音頻幀中的候選音素概率和所述語音文本對應的音素序列；

根據所述語音音頻的每個音頻幀中的候選音素概率和所述音素序列生成所述語音音頻對應的音素集合列表，所述音素集合列表中包括所述語音音頻對應的候選音素序列和每個音素的開始幀和結束幀；

獲取所述音素集合列表中每個音素的開始幀和結束幀，并確定每個音素的持續幀，在所述持續幀小于預設閾值時，在所述音素為輔音的情況下，使用所述音素的上一音素替換所述音素，在所述音素為元音的情況下，判斷所述音素的上一音素或下一音素是否為元音，若否，則不做處理，若是，則用所述音素的上一音素或下一音素替換所述音素，進而獲得經過處理后的音素集合列表；

根據所述經過處理后的音素集合列表在預設的動畫人物素材庫中查找并播放對應的動畫人物口型。

2.如權利要求1所述的生成動畫人物口型的方法，其特征在于，獲取所述語音音頻的每個音頻幀中的候選音素概率，包括：

將所述語音音頻做分幀處理，獲得多個音頻幀；

提取每個音頻幀的聲學特征；

將所述聲學特征輸入至預先訓練好的聲學模型，以使所述聲學模型預測每個所述音頻幀中的候選音素概率。

3.如權利要求1所述的生成動畫人物口型的方法，其特征在于，獲取所述語音文本對應的音素序列，包括：

對所述語音文本做分字處理，獲得字集合；

根據所述字集合中的每個字在預設的字典中查找對應的音素；

按照所述字集合中每個字的順序生成所述語音文本對應的音素序列。

4.如權利要求1所述的生成動畫人物口型的方法，其特征在于，根據所述語音音頻的每個音頻幀中的候選音素概率和所述音素序列生成所述語音音頻對應的音素集合列表，包括：

根據前n個音頻幀中的候選音素序列概率、第n+1個音頻幀中的候選音素概率和所述音素序列生成前n+1個音頻幀中的候選音素序列概率，其中n為正整數；

獲取所述語音音頻對應的候選音素序列，并根據所述候選音素序列和所述候選音素序列中每個音素的開始幀和結束幀生成音素集合列表。

5.一種生成動畫人物口型的裝置，其特征在于，包括：

接收模塊，被配置為接收語音音頻和所述語音音頻對應的語音文本；

獲取模塊，被配置為獲取所述語音音頻的每個音頻幀中的候選音素概率和所述語音文本對應的音素序列；

生成模塊，被配置為根據所述語音音頻的每個音頻幀中的候選音素概率和所述音素序列生成所述語音音頻對應的音素集合列表，所述音素集合列表中包括所述語音音頻對應的候選音素序列和每個音素的開始幀和結束幀；

預處理模塊，被配置為獲取所述音素集合列表中每個音素的開始幀和結束幀，并確定每個音素的持續幀，在所述持續幀小于預設閾值時，在所述音素為輔音的情況下，使用所述音素的上一音素替換所述音素，在所述音素為元音的情況下，判斷所述音素的上一音素或下一音素是否為元音，若否，則不做處理，若是，則用所述音素的上一音素或下一音素替換所述音素，進而獲得經過處理后的音素集合列表；

播放模塊，被配置為根據所述經過處理后的音素集合列表在預設的動畫人物素材庫中查找并播放對應的動畫人物口型。

6.如權利要求5所述的生成動畫人物口型的裝置，其特征在于，

所述獲取模塊，進一步被配置為將所述語音音頻做分幀處理，獲得多個音頻幀；提取每個音頻幀的聲學特征；將所述聲學特征輸入至預先訓練好的聲學模型，以使所述聲學模型預測每個所述音頻幀中的候選音素概率。

7.如權利要求5所述的生成動畫人物口型的裝置，其特征在于，

所述獲取模塊，進一步被配置為對所述語音文本做分字處理，獲得字集合；根據所述字集合中的每個字在預設的字典中查找對應的音素；按照所述字集合中每個字的順序生成所述語音文本對應的音素序列。