[發(fā)明專利]實時驅(qū)動虛擬人的方法、裝置、電子設備及介質(zhì)在審
| 申請?zhí)枺?/td> | 202010420720.9 | 申請日： | 2020-05-18 |
| 公開（公告）號： | CN113689880A | 公開（公告）日： | 2021-11-23 |
| 發(fā)明（設計）人： | 樊博;陳偉;陳曦;孟凡博;劉愷;張克寧;段文君 | 申請（專利權(quán)）人： | 北京搜狗科技發(fā)展有限公司 |
| 主分類號： | G10L21/10 | 分類號： | G10L21/10;G10L25/30;G06N3/04;G06N3/08 |
| 代理公司： | 北京華沛德權(quán)律師事務所 11302 | 代理人： | 房德權(quán) |
| 地址： | 100084 北京市海淀區(qū)中關(guān)*** | 國省代碼： | 北京;11 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 實時 驅(qū)動 虛擬 方法 裝置 電子設備 介質(zhì) | ||
1.一種實時驅(qū)動虛擬人的方法，其特征在于，包括：
獲取用于驅(qū)動虛擬人的待處理數(shù)據(jù)，所述待處理數(shù)據(jù)包括文本數(shù)據(jù)和語音數(shù)據(jù)中的至少一種；
使用端到端模型對所述待處理數(shù)據(jù)進行處理，確定出所述待處理數(shù)據(jù)對應的聲學特征序列、面部特征序列和肢體特征序列；
將所述聲學特征序列、所述面部特征序列和所述肢體特征序列輸入到已訓練的肌肉模型中，通過所述肌肉模型驅(qū)動虛擬人；
其中，所述使用端到端模型對所述待處理數(shù)據(jù)進行處理，包括：
獲取所述待處理數(shù)據(jù)的文本特征和時長特征；
根據(jù)所述文本特征和所述時長特征，確定出所述聲學特征序列；
根據(jù)所述文本特征和所述時長特征，確定出所述面部特征序列和所述肢體特征序列。
2.如權(quán)利要求1所述的方法，其特征在于，所述獲取所述待處理數(shù)據(jù)的文本特征和時長特征，包括：
通過fastspeech模型獲取所述文本特征；
通過時長模型獲取所述時長特征，其中，所述時長模型為深度學習模型。
3.如權(quán)利要求2所述的方法，其特征在于，若訓練輸出聲學特征序列的fastspeech模型為第一fastspeech模型，以及訓練輸出面部特征序列和肢體特征序列的的fastspeech模型為第二fastspeech模型，所述根據(jù)所述文本特征和所述時長特征，確定出所述聲學特征序列，包括：
將所述文本特征和所述時長特征輸入到第一fastspeech模型中，得到所述聲學特征序列；
所述根據(jù)所述文本特征和所述時長特征，確定出所述聲學特征序列，包括：
將所述文本特征和所述時長特征輸入到第二fastspeech模型中，得到所述面部特征序列和所述肢體特征序列。
4.如權(quán)利要求1所述的方法，其特征在于，所述將所述聲學特征序列、所述面部特征序列和所述肢體特征序列輸入到已訓練的肌肉模型中，包括：
將所述聲學特征序列、所述面部特征序列和所述肢體特征序列進行融合，得到融合特征序列；
將所述融合特征序列輸入到所述肌肉模型中。
5.如權(quán)利要求4所述的方法，其特征在于，所述將所述聲學特征序列、所述面部特征序列和所述肢體特征序列進行融合，得到融合特征序列，包括：
基于所述時長特征，將所述聲學特征序列、所述面部特征序列和所述肢體特征序列進行融合，得到所述融合特征序列。
6.一種實時驅(qū)動虛擬人的方法，其特征在于，包括：
獲取用于驅(qū)動虛擬人的待處理數(shù)據(jù)，所述待處理數(shù)據(jù)包括文本數(shù)據(jù)和語音數(shù)據(jù)中的至少一種；
使用端到端模型對所述待處理數(shù)據(jù)進行處理，確定出所述待處理數(shù)據(jù)對應的融合特征數(shù)據(jù)，其中，所述融合特征序列是由所述待處理數(shù)據(jù)對應的聲學特征序列，面部特征序列和肢體特征序列融合得到的；
將所述融合序列輸入到已訓練的肌肉模型中，通過所述肌肉模型驅(qū)動虛擬人；
其中，所述使用端到端模型對所述待處理數(shù)據(jù)進行處理，包括：
獲取所述待處理數(shù)據(jù)的文本特征和時長特征；
根據(jù)所述文本特征和所述時長特征，確定出所述聲學特征序列，所述面部特征序列和所述肢體特征序列；
根據(jù)所述聲學特征序列，所述面部特征序列和所述肢體特征序列，得到所述融合特征序列。
7.一種實時驅(qū)動虛擬人的裝置，其特征在于，包括：
數(shù)據(jù)獲取模塊，用于獲取用于驅(qū)動虛擬人的待處理數(shù)據(jù)，所述待處理數(shù)據(jù)包括文本數(shù)據(jù)和語音數(shù)據(jù)中的至少一種；
數(shù)據(jù)處理模塊，用于使用端到端模型對所述待處理數(shù)據(jù)進行處理，確定出所述待處理數(shù)據(jù)對應的聲學特征序列、面部特征序列和肢體特征序列；
虛擬人驅(qū)動模塊，用于將所述聲學特征序列、所述面部特征序列和所述肢體特征序列輸入到已訓練的肌肉模型中，通過所述肌肉模型驅(qū)動虛擬人；
其中，所述數(shù)據(jù)處理模塊，具體用于獲取所述待處理數(shù)據(jù)的文本特征和時長特征；根據(jù)所述文本特征和所述時長特征，確定出所述聲學特征序列；根據(jù)所述文本特征和所述時長特征，確定出所述面部特征序列和所述肢體特征序列。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于北京搜狗科技發(fā)展有限公司，未經(jīng)北京搜狗科技發(fā)展有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010420720.9/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
