[發明專利]舞蹈動畫生成方法、模型練方法、裝置、設備及存儲介質

在審

• 申請號: 202110497533.5
• 申請日: 2021-05-07
• 公開（公告）號: CN113160848A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 段穎琳;石天陽;袁燚;范長杰;胡志鵬
• 申請（專利權）人: 網易(杭州)網絡有限公司
• 主分類號: G10L25/03
• 分類號: G10L25/03;G10L25/18;G10L25/30;G10L25/57;G06N3/04;G06N3/08;G06T13/00
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 鐘揚飛

本申請提供一種舞蹈動畫生成方法、模型練方法、裝置、設備及存儲介質，涉及視頻制作技術領域。該方法包括：對輸入音樂進行分割，得到輸入音樂的多個音樂片段；對音樂片段進行特征分析，得到音樂片段的音樂特征；確定樣本數據集中與音樂片段的音樂特征的相似度達到預設閾值的樣本音樂片段的樣本音樂特征作為目標音樂特征；確定目標音樂特征所在的樣本音樂片段對應的樣本舞蹈片段為各音樂片段對應的目標舞蹈片段；根據目標舞蹈片段，生成目標舞蹈動畫。相對于現有技術，避免了制作一個舞蹈動畫的編排耗時較長，時間成本和人力成本的消耗均較大的問題。

技術領域

本申請涉及視頻制作技術領域，具體而言，涉及一種舞蹈動畫生成方法、模型練方法、裝置、設備及存儲介質。

背景技術

音樂舞蹈游戲是游戲中一種常見的玩法，該玩法給玩家用戶提供了豐富的舞蹈片段，玩家用戶可以自由地組合這些舞蹈片段并配以合適的音樂，得到音樂舞蹈動畫。在制成音樂舞蹈動畫后，玩家還可以進一步將制作好的音樂舞蹈動畫上傳到社交媒體上進行分享和交流，因此該玩法廣受歡迎。

音樂舞蹈動畫在游戲中無論是玩法還是動畫制作中都是重要的一部分。目前的制作流程主要有三部分，第一步，音樂分析師解構音樂，專業編舞師依據現有音樂及解構結果進行舞蹈的動作設計和編排；第二步，由舞蹈演員進行舞蹈，并對舞蹈動作進行捕捉，并根據捕捉結果制作保存舞蹈動作對應的數字模型，第三步，由動畫師對動作進行精修，根據精修后的動作和音樂生成音樂舞蹈動畫。

但是這樣的音樂舞蹈動畫的制作方法較為復雜，導致制作一個音樂舞蹈動畫的編排耗時較長，時間成本和人力成本的消耗均較大。

發明內容

本申請的目的在于，針對上述現有技術中的不足，提供一種舞蹈動畫生成方法、模型練方法、裝置、設備及存儲介質，以解決現有技術中制作一個音樂舞蹈動畫的編排耗時較長，時間成本和人力成本的消耗均較大的問題。

為實現上述目的，本申請實施例采用的技術方案如下：

第一方面，本申請一實施例提供了一種舞蹈動畫生成方法，所述方法包括：

對輸入音樂進行分割，得到所述輸入音樂的多個音樂片段；

對所述音樂片段進行特征分析，得到所述音樂片段的音樂特征；

確定樣本數據集中與所述音樂片段的音樂特征的相似度達到預設閾值的樣本音樂片段的樣本音樂特征作為目標音樂特征；其中，所述樣本數據集中包括多個樣本音樂舞蹈數據，每個樣本音樂舞蹈數據包括樣本音樂片段以及所述樣本音樂片段對應的樣本舞蹈片段，并且所述樣本音樂特征為通過對所述樣本音樂片段進行特征分析得到；確定所述目標音樂特征所在的樣本音樂片段對應的樣本舞蹈片段為各所述音樂片段對應的目標舞蹈片段；

根據所述目標舞蹈片段，生成目標舞蹈動畫。

可選地，所述對輸入音樂進行分割，得到所述輸入音樂的多個音樂片段，包括：

對所述輸入音樂進行樂理分析，得到多個所述音樂片段。

可選地，所述對所述音樂片段進行特征分析，得到所述音樂片段的音樂特征，包括：

采用預設的音樂分析模型，對所述音樂片段進行特征分析，得到所述音樂片段的音樂特征。

可選地，所述音樂分析模型包括：預設編碼器、預設轉換模型；所述對所述音樂片段進行特征分析，得到所述音樂片段的音樂特征，包括：

將各所述音樂片段轉換為音樂頻譜信號；

采用所述預設編碼器對所述音樂頻譜信號進行編碼處理，得到各所述音樂片段的一維特征；

采用所述預設轉換模型，對各所述音樂片段的一維特征進行轉換，得到各所述音樂片段的音樂特征；各所述音樂片段的音樂特征包括：前后音樂片段的上下文信息。