[發明專利]基于視聽多模態的舞蹈生成方法、系統、裝置

有效

• 申請號: 202010595530.0
• 申請日: 2020-06-24
• 公開（公告）號: CN111711868B
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 張兆翔;宋純鋒;許嘯
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: H04N21/81
• 分類號: H04N21/81;G06N3/08;G06N3/04;G10L19/04
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

本發明屬于計算機視覺、視聽任務領域，具體涉及一種基于視聽多模態的舞蹈生成方法、系統、裝置，旨在解決現有的舞蹈生成方法忽略了骨架信息關鍵點之間的連接關系，導致生成的舞蹈質量較差的問題。本系統方法包括：獲取音頻信息序列、2D舞蹈骨架信息，將2D舞蹈骨架信息作為第一信息；將第一信息轉換為圖像，并結合第一信息、音頻信息序列中第t幀的音頻信息，通過舞蹈生成模型生成新的2D舞蹈骨架信息，作為第二信息；判斷t是否等于音頻信息序列的長度，若否，令t＝t+1，將第二信息作為第一信息，循環生成第二信息；否則以第一信息順次轉換的圖像作為舞蹈片段輸出。本發明提高了舞蹈生成的質量。

技術領域

本發明屬于計算機視覺、視聽任務領域，具體涉及一種基于視聽多模態的舞蹈生成方法、系統、裝置。

背景技術

根據音樂生成舞蹈是一項有趣且具有挑戰性的任務，其目的是根據視覺和音頻信息推斷出一段3D舞蹈姿勢。現有的方法主要直接利用骨架信息，結合音頻信息進行學習，由于骨架信息是由若干個關鍵點組成，關鍵點之間的連接若沒有作為提示輸入，很難學習到對應特別準確的位置信息，因此，僅使用骨架信息來完成此任務，會導致抖動結果。此外，由于缺少適合此任務的評估指標，導致生成的舞蹈姿勢的質量難以評估。因此，本發明提出的一種基于視聽多模態的舞蹈生成方法。

發明內容

為了解決現有技術中的上述問題，即為了解決現有的舞蹈生成方法忽略了骨架信息關鍵點之間的連接關系，導致生成的舞蹈質量較差的問題，本發明第一方面，提出了一種基于視聽多模態的舞蹈生成方法，該方法包括：

步驟S100，獲取音頻信息序列、2D舞蹈骨架信息，將所述2D舞蹈骨架信息作為第一信息；

步驟S200，將所述第一信息轉換為圖像，并結合所述第一信息、所述音頻信息序列中第t幀的音頻信息，通過預訓練的舞蹈生成模型生成新的2D舞蹈骨架信息，作為第二信息；其中，t為正整數；

步驟S300，判斷t是否等于音頻信息序列的長度，若否，令t＝t+1，將第二信息作為第一信息，跳轉步驟S200；否則以所述第一信息順次轉換的圖像作為舞蹈片段輸出；

所述舞蹈生成模型包括編解碼器、2D預測模塊；所述編解碼器基于多個卷積層和反卷積層構建；所述2D預測模塊基于Concat層、LSTM網絡層、全連接層、混合密度神經網絡層順次構建。

在一些優選的實施方式中，所述舞蹈生成模型其訓練方法為：

步驟A100，獲取訓練樣本的數據集；所述訓練樣本包括真實的2D舞蹈骨架信息序列、音頻信息序列；

步驟A200，將2D舞蹈骨架信息序列中各2D舞蹈骨架信息轉換為圖像，作為第一圖像，并對音頻信息序列中的各音頻信息進行降維；

步驟A300，對各第一圖像，通過編解碼器中的編碼器對其進行編碼，并與其對應的舞蹈骨架信息、所述音頻信息進行拼接；拼接后，通過2D預測模塊生成下一幀預測的2D舞蹈骨架信息；

步驟A400，步驟A400，基于預測的2D舞蹈骨架信息，結合該幀對應的真實的2D舞蹈骨架信息，通過預設的第一損失函數得到損失值，對所述2D預測模塊進行參數更新；并通過編解碼器的解碼器解碼得到預測的2D舞蹈骨架信息對應的圖像，結合編碼器輸入的第一圖像，通過預設的第二損失函數得到損失值，對編解碼器進行參數更新；

步驟A500，循環執行步驟A300-步驟A400，直至得到訓練好的舞蹈生成模型。

在一些優選的實施方式中，所述第一損失函數為：