[發(fā)明專利]一種生成動畫人物口型的方法及裝置有效
| 申請?zhí)枺?/td> | 202010042300.1 | 申請日： | 2020-01-15 |
| 公開（公告）號： | CN111260761B | 公開（公告）日： | 2023-05-09 |
| 發(fā)明（設(shè)計）人： | 程大治;夏龍;吳凡;卓邦聲;高強(qiáng);馬楠;郭常圳 | 申請（專利權(quán)）人： | 北京猿力未來科技有限公司 |
| 主分類號： | G06T13/20 | 分類號： | G06T13/20;G06T13/40;G10L15/02 |
| 代理公司： | 北京智信禾專利代理有限公司 11637 | 代理人： | 劉曉楠 |
| 地址： | 100102 北京市朝陽區(qū)廣順南大*** | 國省代碼： | 北京;11 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 一種 生成 動畫人物 口型 方法 裝置 | ||
1.一種生成動畫人物口型的方法，其特征在于，包括：
接收語音音頻和所述語音音頻對應(yīng)的語音文本；
獲取所述語音音頻的每個音頻幀中的候選音素概率和所述語音文本對應(yīng)的音素序列；
根據(jù)所述語音音頻的每個音頻幀中的候選音素概率和所述音素序列生成所述語音音頻對應(yīng)的音素集合列表，所述音素集合列表中包括所述語音音頻對應(yīng)的候選音素序列和每個音素的開始幀和結(jié)束幀；
獲取所述音素集合列表中每個音素的開始幀和結(jié)束幀，并確定每個音素的持續(xù)幀，在所述持續(xù)幀小于預(yù)設(shè)閾值時，在所述音素為輔音的情況下，使用所述音素的上一音素替換所述音素，在所述音素為元音的情況下，判斷所述音素的上一音素或下一音素是否為元音，若否，則不做處理，若是，則用所述音素的上一音素或下一音素替換所述音素，進(jìn)而獲得經(jīng)過處理后的音素集合列表；
根據(jù)所述經(jīng)過處理后的音素集合列表在預(yù)設(shè)的動畫人物素材庫中查找并播放對應(yīng)的動畫人物口型。
2.如權(quán)利要求1所述的生成動畫人物口型的方法，其特征在于，獲取所述語音音頻的每個音頻幀中的候選音素概率，包括：
將所述語音音頻做分幀處理，獲得多個音頻幀；
提取每個音頻幀的聲學(xué)特征；
將所述聲學(xué)特征輸入至預(yù)先訓(xùn)練好的聲學(xué)模型，以使所述聲學(xué)模型預(yù)測每個所述音頻幀中的候選音素概率。
3.如權(quán)利要求1所述的生成動畫人物口型的方法，其特征在于，獲取所述語音文本對應(yīng)的音素序列，包括：
對所述語音文本做分字處理，獲得字集合；
根據(jù)所述字集合中的每個字在預(yù)設(shè)的字典中查找對應(yīng)的音素；
按照所述字集合中每個字的順序生成所述語音文本對應(yīng)的音素序列。
4.如權(quán)利要求1所述的生成動畫人物口型的方法，其特征在于，根據(jù)所述語音音頻的每個音頻幀中的候選音素概率和所述音素序列生成所述語音音頻對應(yīng)的音素集合列表，包括：
根據(jù)前n個音頻幀中的候選音素序列概率、第n+1個音頻幀中的候選音素概率和所述音素序列生成前n+1個音頻幀中的候選音素序列概率，其中n為正整數(shù)；
獲取所述語音音頻對應(yīng)的候選音素序列，并根據(jù)所述候選音素序列和所述候選音素序列中每個音素的開始幀和結(jié)束幀生成音素集合列表。
5.一種生成動畫人物口型的裝置，其特征在于，包括：
接收模塊，被配置為接收語音音頻和所述語音音頻對應(yīng)的語音文本；
獲取模塊，被配置為獲取所述語音音頻的每個音頻幀中的候選音素概率和所述語音文本對應(yīng)的音素序列；
生成模塊，被配置為根據(jù)所述語音音頻的每個音頻幀中的候選音素概率和所述音素序列生成所述語音音頻對應(yīng)的音素集合列表，所述音素集合列表中包括所述語音音頻對應(yīng)的候選音素序列和每個音素的開始幀和結(jié)束幀；
預(yù)處理模塊，被配置為獲取所述音素集合列表中每個音素的開始幀和結(jié)束幀，并確定每個音素的持續(xù)幀，在所述持續(xù)幀小于預(yù)設(shè)閾值時，在所述音素為輔音的情況下，使用所述音素的上一音素替換所述音素，在所述音素為元音的情況下，判斷所述音素的上一音素或下一音素是否為元音，若否，則不做處理，若是，則用所述音素的上一音素或下一音素替換所述音素，進(jìn)而獲得經(jīng)過處理后的音素集合列表；
播放模塊，被配置為根據(jù)所述經(jīng)過處理后的音素集合列表在預(yù)設(shè)的動畫人物素材庫中查找并播放對應(yīng)的動畫人物口型。
6.如權(quán)利要求5所述的生成動畫人物口型的裝置，其特征在于，
所述獲取模塊，進(jìn)一步被配置為將所述語音音頻做分幀處理，獲得多個音頻幀；提取每個音頻幀的聲學(xué)特征；將所述聲學(xué)特征輸入至預(yù)先訓(xùn)練好的聲學(xué)模型，以使所述聲學(xué)模型預(yù)測每個所述音頻幀中的候選音素概率。
7.如權(quán)利要求5所述的生成動畫人物口型的裝置，其特征在于，
所述獲取模塊，進(jìn)一步被配置為對所述語音文本做分字處理，獲得字集合；根據(jù)所述字集合中的每個字在預(yù)設(shè)的字典中查找對應(yīng)的音素；按照所述字集合中每個字的順序生成所述語音文本對應(yīng)的音素序列。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于北京猿力未來科技有限公司，未經(jīng)北京猿力未來科技有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010042300.1/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 上一篇：一種鋼筋掃描儀
- 下一篇：一種具有防脫落功能的電子線連接裝置
