[發明專利]模型訓練方法、舞蹈生成方法、設備及介質

在審

• 申請號: 202310453806.5
• 申請日: 2023-04-18
• 公開（公告）號: CN116484935A
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 何艾蓮;林開來;董治;姜濤
• 申請（專利權）人: 騰訊音樂娛樂科技（深圳）有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/0455;G06N3/0464;G06N3/0442;G06F18/25;G06F18/24;H04N21/44
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 唐宇鑫

本申請提供了一種模型訓練方法、舞蹈生成方法、設備及介質，其中，該模型訓練方法包括：獲取樣本音樂的音樂特征以及樣本舞蹈的動作特征；調用第一映射網絡模塊，對音樂特征以及動作特征進行融合處理得到融合特征并處理融合特征得到第一多元舞蹈類別；調用編解碼網絡模塊對融合特征進行編解碼處理，得到解碼特征，調用第二映射網絡模塊對解碼特征進行分類處理，得到第二多元舞蹈類別；基于融合特征和解碼特征之間的第一損失，以及第一多元舞蹈類別和第二多元舞蹈類別之間的第二損失確定目標損失，基于目標損失對初始神經網絡模型的模型參數進行調整，得到舞蹈生成模型。本申請實施例降低了跨模態學習的難度，提升了生成的舞蹈動作的準確度。

技術領域

本申請涉及計算機技術領域，尤其涉及一種模型訓練方法、舞蹈生成方法、電子設備及計算機可讀存儲介質。

背景技術

舞蹈，是一種能夠有效分享情感的通用語言。舞蹈可以通過社交媒體、短視頻應用等平臺進行分享傳播。然而，舞蹈的生成是一個極具創造性和藝術性的過程，因此編舞家通常會進行大量的專業訓練，最終到達可以進行編舞并生成舞蹈的階段。同時，不同的編舞家在進行編舞時，都有自己的習慣和編舞風格。隨著人工智能和計算機技術的發展，不僅可以通過智能工具來進行編舞生成，還可以通過智能工具將不同編舞家的風格進行融合，生成融合不同編舞家風格的舞蹈。例如，可以根據用戶提供的一段音樂，智能工具自動生成人體舞蹈動作對應的舞蹈。

目前，在音樂驅動的舞蹈生成的方面，有兩大類方法：第一類方法為基于給定的初始舞蹈動作序列生成舞蹈；第二類方法是基于編排的形式給一段音樂生成舞蹈。但是，兩大類方法都需要在音樂特征和舞蹈動作特征之間進行跨模態的學習，因為在跨模態學習中音樂特征和舞蹈動作特征之間存在域間差距，使得生成的舞蹈動作與音樂節拍不一致，導致生成的舞蹈動作的準確度低。

因此，如何提升生成的舞蹈動作的準確度是一個亟待解決的問題。

發明內容

針對上述技術問題，本申請提供一種模型訓練方法、舞蹈生成方法、電子設備及計算機可讀存儲介質，能夠降低了音樂特征和舞蹈特征之間跨模態學習的難度，提升生成的舞蹈動作的準確度。

一方面，本申請實施例提供了一種模型訓練方法，該方法包括：獲取樣本音樂的音樂特征以及樣本舞蹈的動作特征，樣本音樂與樣本舞蹈之間存在匹配關系；調用初始神經網絡模型包括的第一映射網絡模塊，對音樂特征及動作特征進行融合處理得到融合特征并處理融合特征得到第一多元舞蹈類別，第一多元舞蹈類別包括至少一個舞蹈類別標簽；調用初始神經網絡模型包括的編解碼網絡模塊對融合特征進行編解碼處理，得到解碼特征，并調用初始神經網絡模型包括的第二映射網絡模塊對解碼特征進行分類處理，得到第二多元舞蹈類別，第二多元舞蹈類別包括至少一個舞蹈類別標簽；基于融合特征和解碼特征之間的第一損失，以及第一多元舞蹈類別和第二多元舞蹈類別之間的第二損失確定目標損失，并基于目標損失對初始神經網絡模型的模型參數進行調整，得到舞蹈生成模型。

一種可選的實施方式中，獲取樣本音樂的音樂特征以及樣本舞蹈的動作特征，包括：基于樣本音樂的鼓點將樣本音樂劃分為多個音樂片段，以及將樣本舞蹈劃分為多個舞蹈動作，多個音樂片段與多個舞蹈動作之間一一對應；調用初始神經網絡模型包括的特征提取網絡模塊，對多個音樂片段進行特征提取得到樣本音樂的音樂特征，以及對多個舞蹈動作進行特征提取得到樣本舞蹈的動作特征。

一種可選的實施方式中，調用初始神經網絡模型包括的第一映射網絡模塊對音樂特征以及動作特征進行處理，得到融合特征以及第一多元舞蹈類別，包括：調用第一映射網絡模塊的特征融合層對音樂特征以及動作特征進行融合處理，得到融合特征；調用第一映射網絡模塊的分類層對融合特征進行分類處理，得到第一多元舞蹈類別。