[發(fā)明專利]舞蹈動畫生成方法、模型練方法、裝置、設(shè)備及存儲介質(zhì)在審
| 申請?zhí)枺?/td> | 202110497533.5 | 申請日： | 2021-05-07 |
| 公開（公告）號： | CN113160848A | 公開（公告）日： | 2021-07-23 |
| 發(fā)明（設(shè)計）人： | 段穎琳;石天陽;袁燚;范長杰;胡志鵬 | 申請（專利權(quán)）人： | 網(wǎng)易(杭州)網(wǎng)絡(luò)有限公司 |
| 主分類號： | G10L25/03 | 分類號： | G10L25/03;G10L25/18;G10L25/30;G10L25/57;G06N3/04;G06N3/08;G06T13/00 |
| 代理公司： | 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463 | 代理人： | 鐘揚飛 |
| 地址： | 310052 浙江省杭州*** | 國省代碼： | 浙江;33 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 舞蹈 動畫 生成 方法 模型 裝置 設(shè)備 存儲 介質(zhì) | ||
1.一種舞蹈動畫生成方法，其特征在于，所述方法包括：
對輸入音樂進行分割，得到所述輸入音樂的多個音樂片段；
對所述音樂片段進行特征分析，得到所述音樂片段的音樂特征；
確定樣本數(shù)據(jù)集中與所述音樂片段的音樂特征的相似度達(dá)到預(yù)設(shè)閾值的樣本音樂片段的樣本音樂特征作為目標(biāo)音樂特征；其中，所述樣本數(shù)據(jù)集中包括多個樣本音樂舞蹈數(shù)據(jù)，每個樣本音樂舞蹈數(shù)據(jù)包括樣本音樂片段以及所述樣本音樂片段對應(yīng)的樣本舞蹈片段，并且所述樣本音樂特征為通過對所述樣本音樂片段進行特征分析得到；
確定所述目標(biāo)音樂特征所在的樣本音樂片段對應(yīng)的樣本舞蹈片段為各所述音樂片段對應(yīng)的目標(biāo)舞蹈片段；
根據(jù)所述目標(biāo)舞蹈片段，生成目標(biāo)舞蹈動畫。
2.如權(quán)利要求1所述的方法，其特征在于，所述對輸入音樂進行分割，得到所述輸入音樂的多個音樂片段，包括：
對所述輸入音樂進行樂理分析，得到多個所述音樂片段。
3.如權(quán)利要求1所述的方法，其特征在于，所述對所述音樂片段進行特征分析，得到所述音樂片段的音樂特征，包括：
采用預(yù)設(shè)的音樂分析模型，對所述音樂片段進行特征分析，得到所述音樂片段的音樂特征。
4.如權(quán)利要求3所述的方法，其特征在于，所述音樂分析模型包括：預(yù)設(shè)編碼器、預(yù)設(shè)轉(zhuǎn)換模型；所述對所述音樂片段進行特征分析，得到所述音樂片段的音樂特征，包括：
將各所述音樂片段轉(zhuǎn)換為音樂頻譜信號；
采用所述預(yù)設(shè)編碼器對所述音樂頻譜信號進行編碼處理，得到各所述音樂片段的一維特征；
采用所述預(yù)設(shè)轉(zhuǎn)換模型，對各所述音樂片段的一維特征進行轉(zhuǎn)換，得到各所述音樂片段的音樂特征；各所述音樂片段的音樂特征包括：前后音樂片段的上下文信息。
5.如權(quán)利要求4所述的方法，其特征在于，所述音樂分析模型還包括：預(yù)設(shè)解碼器，所述方法還包括：
采用所述預(yù)設(shè)解碼器對各所述音樂片段的音樂特征進行解碼處理，得到解碼后的重建信號；其中，所述重建信號為還原后的音樂頻譜信號；
根據(jù)各所述音樂片段的所述重建信號和所述音樂頻譜信號，計算目標(biāo)損失函數(shù)值；
根據(jù)所述目標(biāo)損失函數(shù)值，對所述預(yù)設(shè)編碼器的編碼參數(shù)進行優(yōu)化，直至滿足預(yù)設(shè)停止條件，得到優(yōu)化后的編碼器。
6.如權(quán)利要求5所述的方法，其特征在于，所述還原后的音樂頻譜信號包括：還原后的音樂片段的音樂特征，各所述音樂頻譜信號包括：各所述音樂片段的音樂特征；
所述根據(jù)所述還原后的音樂頻譜信號音樂頻譜信號和各所述音樂頻譜信號，計算目標(biāo)損失函數(shù)值，包括：
根據(jù)所述還原后的音樂片段的音樂特征和各所述音樂片段的音樂特征，計算所述目標(biāo)損失函數(shù)值。
7.如權(quán)利要求5所述的方法，其特征在于，所述還原后的音樂頻譜信號包括：還原后的音樂片段的梅爾頻譜特征，各所述音樂頻譜信號包括：各所述音樂片段的梅爾頻譜特征；
所述根據(jù)所述還原后的音樂頻譜信號音樂頻譜信號和各所述音樂頻譜信號，計算目標(biāo)損失函數(shù)值，包括：
根據(jù)所述還原后的音樂片段的梅爾頻譜特征和各所述音樂片段的梅爾頻譜特征，計算第一損失函數(shù)值；
根據(jù)所述第一損失函數(shù)值，計算所述目標(biāo)損失函數(shù)值。
8.如權(quán)利要求7所述的方法，其特征在于，所述還原后的音樂頻譜信號音樂頻譜信號還包括：所述還原后的音樂片段的旋律特征，各所述音樂頻譜信號包括：各所述音樂片段的旋律特征；
所述根據(jù)所述還原后的音樂頻譜信號音樂頻譜信號和各所述音樂頻譜信號，計算目標(biāo)損失函數(shù)值，還包括：
根據(jù)所述還原后的音樂片段的旋律特征和各所述音樂片段的旋律特征，計算第二損失函數(shù)值；
根據(jù)所述第一損失函數(shù)值和所述第二損失函數(shù)值，計算所述目標(biāo)損失函數(shù)值。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于網(wǎng)易(杭州)網(wǎng)絡(luò)有限公司，未經(jīng)網(wǎng)易(杭州)網(wǎng)絡(luò)有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202110497533.5/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
