[發(fā)明專利]生成模型和生成3D動畫的方法、裝置、設(shè)備和存儲介質(zhì)在審
| 申請?zhí)枺?/td> | 202011485571.0 | 申請日： | 2020-12-16 |
| 公開（公告）號： | CN112562045A | 公開（公告）日： | 2021-03-26 |
| 發(fā)明（設(shè)計）人： | 楊少雄 | 申請（專利權(quán)）人： | 北京百度網(wǎng)訊科技有限公司 |
| 主分類號： | G06T13/20 | 分類號： | G06T13/20;G06T13/40;G06T15/00;G06N3/04;G06N3/08 |
| 代理公司： | 北京英賽嘉華知識產(chǎn)權(quán)代理有限責(zé)任公司 11204 | 代理人： | 王達佐;馬曉亞 |
| 地址： | 100085 北京市*** | 國省代碼： | 北京;11 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 生成 模型 動畫 方法 裝置 設(shè)備 存儲 介質(zhì) | ||
1.一種生成模型的方法，包括：
獲取預(yù)置的樣本集，其中，所述樣本集至少包含一個樣本，樣本包括樣本音頻、真實3D網(wǎng)格頂點序列；
獲取預(yù)先建立的生成式對抗網(wǎng)絡(luò)，其中，所述生成式對抗網(wǎng)絡(luò)包括生成器和判別器；
執(zhí)行以下訓(xùn)練步驟：從所述樣本集中選取樣本；從該樣本的樣本音頻中提取出樣本音頻特征；將所述樣本音頻特征輸入所述生成器，得到該樣本的偽3D網(wǎng)格頂點序列；將所述偽3D網(wǎng)格頂點序列和該樣本的真實3D網(wǎng)格頂點序列輸入所述判別器，判別3D網(wǎng)格頂點的真?zhèn)危蝗羲錾墒綄咕W(wǎng)絡(luò)滿足訓(xùn)練完成條件，則得到訓(xùn)練完成的生成器作為生成3D動畫的模型。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述方法還包括：
若所述生成式對抗網(wǎng)絡(luò)不滿足訓(xùn)練完成條件，則調(diào)整所述生成式對抗網(wǎng)絡(luò)中的相關(guān)參數(shù)使得損失值收斂，基于調(diào)整后的生成式對抗網(wǎng)絡(luò)，繼續(xù)執(zhí)行上述訓(xùn)練步驟。
3.根據(jù)權(quán)利要求1所述的方法，其中，所述判別器包括以下至少一種：3D網(wǎng)格頂點幀判別器、3D網(wǎng)格頂點序列判別器、音頻和3D網(wǎng)格頂點序列同步判別器。
4.根據(jù)權(quán)利要求3所述的方法，其中，若所述判別器包括3D網(wǎng)格頂點幀判別器，則所述將所述偽3D網(wǎng)格頂點序列和該樣本的真實3D網(wǎng)格頂點序列輸入所述判別器，判別3D網(wǎng)格頂點的真?zhèn)危ǎ?/p>
將所述偽3D網(wǎng)格頂點序列中的每幀3D網(wǎng)格頂點和真實3D網(wǎng)格頂點序列的每幀3D網(wǎng)格頂點輸入所述3D網(wǎng)格頂點幀判別器，判別單幀3D網(wǎng)格頂點的真?zhèn)巍?/p>
5.根據(jù)權(quán)利要求3所述的方法，其中，若所述判別器包括音頻和3D網(wǎng)格頂點序列同步判別器，則所述將所述偽3D網(wǎng)格頂點序列和該樣本的真實3D網(wǎng)格頂點序列輸入所述判別器，判別3D網(wǎng)格頂點的真?zhèn)危ǎ?/p>
將所述偽3D網(wǎng)格頂點序列和樣本音頻拼接成的第一矩陣；
將所述真實3D網(wǎng)格頂點序列和樣本音頻拼接成的第二矩陣；
將所述第一矩陣和所述第二矩陣輸入所述音頻和3D網(wǎng)格頂點序列同步判別器，判別音頻和3D網(wǎng)格頂點序列是否同步。
6.根據(jù)權(quán)利要求3所述的方法，其中，若所述判別器包括3D網(wǎng)格頂點序列判別器，則所述將所述偽3D網(wǎng)格頂點序列和該樣本的真實3D網(wǎng)格頂點序列輸入所述判別器，判別3D網(wǎng)格頂點的真?zhèn)?，包括?/p>
將所述偽3D網(wǎng)格頂點序列和真實3D網(wǎng)格頂點序列輸入所述3D網(wǎng)格頂點序列判別器，判別3D網(wǎng)格頂點序列的真?zhèn)巍?/p>
7.根據(jù)權(quán)利要求1-6中任一項所述的方法，其中，所述生成器包括音頻編碼模塊和表情解碼模塊。
8.一種生成3D動畫的方法，包括：
從音頻中提取音頻特征；
將所述音頻特征輸入根據(jù)權(quán)利要求1-7中任一項所述的方法生成的生成式對抗網(wǎng)絡(luò)的生成器中，生成3D網(wǎng)格頂點序列；
對所述3D網(wǎng)格頂點序列進行渲染，得到3D動畫。
9.一種生成模型的裝置，包括：
樣本獲取單元，被配置成獲取預(yù)置的樣本集，其中，所述樣本集至少包含一個樣本，樣本包括樣本音頻、真實3D網(wǎng)格頂點序列；
網(wǎng)絡(luò)獲取單元，被配置成獲取預(yù)先建立的生成式對抗網(wǎng)絡(luò)，其中，所述生成式對抗網(wǎng)絡(luò)包括生成器和判別器；
選取單元，被配置成從所述樣本集中選取樣本；
提取單元，被配置成從該樣本的樣本音頻中提取出樣本音頻特征；
生成單元，被配置成將所述樣本音頻特征輸入所述生成器，得到該樣本的偽3D網(wǎng)格頂點序列；
判別單元，被配置成將所述偽3D網(wǎng)格頂點序列和該樣本的真實3D網(wǎng)格頂點序列輸入所述判別器，判別3D網(wǎng)格頂點的真?zhèn)危?/p>
輸出單元，被配置成若所述生成式對抗網(wǎng)絡(luò)滿足訓(xùn)練完成條件，則得到訓(xùn)練完成的生成器作為生成3D動畫的模型。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于北京百度網(wǎng)訊科技有限公司，未經(jīng)北京百度網(wǎng)訊科技有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202011485571.0/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
