[發明專利]基于視聽多模態的舞蹈生成方法、系統、裝置

有效

• 申請號: 202010595530.0
• 申請日: 2020-06-24
• 公開（公告）號: CN111711868B
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 張兆翔;宋純鋒;許嘯
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: H04N21/81
• 分類號: H04N21/81;G06N3/08;G06N3/04;G10L19/04
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

1.一種基于視聽多模態的舞蹈生成方法，其特征在于，該方法包括：

步驟S100，獲取音頻信息序列、2D舞蹈骨架信息，將所述2D舞蹈骨架信息作為第一信息；

步驟S200，將所述第一信息轉換為圖像，并結合所述第一信息、所述音頻信息序列中第t幀的音頻信息，通過預訓練的舞蹈生成模型生成新的2D舞蹈骨架信息，作為第二信息；其中，t為正整數；

步驟S300，判斷t是否等于音頻信息序列的長度，若否，令t＝t+1，將第二信息作為第一信息，跳轉步驟S200；否則以所述第一信息順次轉換的圖像作為舞蹈片段輸出；

所述舞蹈生成模型包括編解碼器、2D預測模塊；所述編解碼器基于多個卷積層和反卷積層構建；所述2D預測模塊基于Concat層、LSTM網絡層、全連接層、混合密度神經網絡層順次構建；

所述舞蹈生成模型在訓練時，將2D預測模塊對應的損失函數作為第一損失函數，將編解碼器對應的損失函數作為第二損失函數；

其中，所述第一損失函數為：

其中，loss₁表示2D預測模塊損失函數對應的損失值，k為自然數，表示下標，u表示真實的2D舞蹈骨架信息，w表示預測的2D舞蹈骨架信息，μ_k(w)表示預測的2D舞蹈骨架信息對應的第k個均值，σ_k(w)表示預測的2D舞蹈骨架信息對應的第k個標準差，f_k(w)表示預測的2D舞蹈骨架信息對應的第k個加權值，K表示預測的2D舞蹈骨架信對應的均值、標準差、加權值的數量；

所述第二損失函數為：

其中，loss₂表示編解碼器對應的損失函數獲取的損失值，x_i表示編碼器對應的輸入圖像，y_i表示解碼器解碼后的圖像，p_j、q_j表示輸入圖像經編碼器編碼后的特征，J表示編碼器輸出的維度，I表示解碼后的圖像輸出的維度，i、j為自然數，表示下標。

2.根據權利要求1所述的基于視聽多模態的舞蹈生成方法，其特征在于，所述舞蹈生成模型其訓練方法為：

步驟A100，獲取訓練樣本的數據集；所述訓練樣本包括真實的2D舞蹈骨架信息序列、音頻信息序列；

步驟A200，將2D舞蹈骨架信息序列中各2D舞蹈骨架信息轉換為圖像，作為第一圖像，并對音頻信息序列中的各音頻信息進行降維；

步驟A300，對各第一圖像，通過編解碼器中的編碼器對其進行編碼，并與其對應的舞蹈骨架信息、所述音頻信息進行拼接；拼接后，通過2D預測模塊生成下一幀預測的2D舞蹈骨架信息；

步驟A400，基于預測的2D舞蹈骨架信息，結合該幀對應的真實的2D舞蹈骨架信息，通過預設的第一損失函數得到損失值，對所述2D預測模塊進行參數更新；并通過編解碼器的解碼器解碼得到預測的2D舞蹈骨架信息對應的圖像，結合編碼器輸入的第一圖像，通過預設的第二損失函數得到損失值，對編解碼器進行參數更新；

步驟A500，循環執行步驟A300-步驟A400，直至得到訓練好的舞蹈生成模型。

3.根據權利要求1-2任一項所述的基于視聽多模態的舞蹈生成方法，其特征在于，步驟S200之后還包括將2D舞蹈骨架信息轉換為3D舞蹈骨架信息的步驟：

對各2D舞蹈骨架信息，順序選取包括自身的M幀2D舞蹈骨架信息進行合并；其中，M為正整數；

基于合并后的2D舞蹈骨架信息，通過預設的3D轉換模塊得到對應的3D舞蹈骨架信息；所述3D轉換模塊基于N個卷積塊構建，N為正整數。