[發明專利]模型訓練方法、舞蹈生成方法、設備及介質

在審

• 申請號: 202310453806.5
• 申請日: 2023-04-18
• 公開（公告）號: CN116484935A
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 何艾蓮;林開來;董治;姜濤
• 申請（專利權）人: 騰訊音樂娛樂科技（深圳）有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/0455;G06N3/0464;G06N3/0442;G06F18/25;G06F18/24;H04N21/44
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 唐宇鑫

1.一種模型訓練方法，其特征在于，所述方法包括：

獲取樣本音樂的音樂特征以及樣本舞蹈的動作特征，所述樣本音樂與所述樣本舞蹈之間存在匹配關系；

調用初始神經網絡模型包括的第一映射網絡模塊，對所述音樂特征及所述動作特征進行融合處理得到融合特征并處理所述融合特征得到第一多元舞蹈類別，所述第一多元舞蹈類別包括至少一個舞蹈類別標簽；

調用所述初始神經網絡模型包括的編解碼網絡模塊，對所述融合特征進行編解碼處理得到解碼特征，并調用所述初始神經網絡模型包括的第二映射網絡模塊對所述解碼特征進行分類處理得到第二多元舞蹈類別，所述第二多元舞蹈類別包括至少一個舞蹈類別標簽；

基于所述融合特征和所述解碼特征之間的第一損失，以及所述第一多元舞蹈類別和所述第二多元舞蹈類別之間的第二損失確定目標損失，并基于所述目標損失對所述初始神經網絡模型的模型參數進行調整，得到舞蹈生成模型。

2.根據權利要求1所述的方法，其特征在于，所述獲取樣本音樂的音樂特征以及樣本舞蹈的動作特征，包括：

基于所述樣本音樂的鼓點將所述樣本音樂劃分為多個音樂片段，以及將所述樣本舞蹈劃分為多個舞蹈動作，所述多個音樂片段與所述多個舞蹈動作之間一一對應；

調用所述初始神經網絡模型包括的特征提取網絡模塊，對所述多個音樂片段進行特征提取得到所述樣本音樂的音樂特征，以及對所述多個舞蹈動作進行特征提取得到所述樣本舞蹈的動作特征。

3.根據權利要求1所述的方法，其特征在于，所述調用初始神經網絡模型包括的第一映射網絡模塊，對所述音樂特征以及所述動作特征進行融合處理得到融合特征并處理所述融合特征得到第一多元舞蹈類別，包括：

調用所述第一映射網絡模塊的特征融合層對所述音樂特征以及所述動作特征進行融合處理，得到融合特征；

調用所述第一映射網絡模塊的分類層對所述融合特征進行分類處理，得到第一多元舞蹈類別。

4.根據權利要求3所述的方法，其特征在于，所述調用第一映射網絡模塊的特征融合層對所述音樂特征以及所述動作特征進行融合處理，得到融合特征，包括：

調用所述第一映射網絡模塊包括的特征融合層，將所述音樂特征以及潛在編碼進行結合獲得目標音樂特征；所述潛在編碼用于降低所述音樂特征的噪聲；

調用所述特征融合層對所述目標音樂特征以及所述動作特征進行融合處理，得到融合特征。

5.根據權利要求1至4任一項所述的方法，其特征在于，所述基于所述融合特征、所述解碼特征之間的第一損失，以及所述第一多元舞蹈類別、所述第二多元舞蹈類別之間的第二損失確定目標損失，包括：

基于所述融合特征以及所述解碼特征之間的差異數據確定第一損失；

基于所述第一多元舞蹈類別以及所述第二多元舞蹈類別之間的差異數據確定第二損失；

基于所述第一損失以及所述第二損失確定目標損失。

6.根據權利要求5所述的方法，其特征在于，所述基于所述第一多元舞蹈類別以及所述第二多元舞蹈類別之間的差異數據確定第二損失，包括：

確定所述第一多元舞蹈類別包括的各個舞蹈類別標簽與所述第二多元舞蹈類別包括的各個舞蹈類別標簽之間的至少一個差異數據；

基于所述至少一個差異數據之間的偏差信息確定第二損失。

7.根據權利要求6所述的方法，其特征在于，所述基于所述目標損失對所述初始神經網絡模型的模型參數進行調整，得到舞蹈生成模型，包括：

基于所述目標損失對所述初始神經網絡模型的模型參數進行調整，得到調整后的初始神經網絡模型；

基于所述調整后的初始神經網絡模型更新所述目標損失，直到更新后的目標損失滿足預測收斂條件，得到訓練后的初始神經網絡模型；

基于所述訓練后的初始神經網絡模型中的特征提取網絡模塊以及編解碼網絡模塊確定舞蹈生成模型。