[發(fā)明專利]音視頻旋律動作自生成方法及裝置

在審

• 申請?zhí)枺?/td>: 202011562919.1
• 申請日: 2020-12-25
• 公開（公告）號: CN112735472A
• 公開（公告）日: 2021-04-30
• 發(fā)明（設計）人: 劉明;夏立文;牛子華
• 申請（專利權）人: 航天科工深圳（集團）有限公司
• 主分類號: G10L25/48
• 分類號: G10L25/48;G10L25/30;G06F16/40
• 代理公司: 深圳市沈合專利代理事務所(特殊普通合伙) 44373
• 代理人: 沈祖鋒

本發(fā)明揭示了一種音視頻旋律動作自生成方法及裝置，包括獲取音頻數據和視頻數據，視頻數據在內容上描述了對應于音頻數據的旋律動作；對音頻數據和視頻數據進行數值描述，生成在音頻和視頻維度上關聯的特征向量；將音頻特征向量和視頻特征向量結合，得到特征向量矩陣；特征向量矩陣通過預訓練的神經網絡生成個性化適配音頻數據和視頻數據的音視頻旋律動作。本方案以時間序列為參考基準，同時巧妙的把音頻數據和視頻數據結合并向量化，然后通過神經網絡模型計算生產自動生成音視頻旋律動作，實現了音頻數據和視頻數據兩類不同數據的結合，具有智能化，多場景應用的能力。

技術領域

本發(fā)明涉及電子信息技術領域，特別涉及一種音視頻旋律動作自生成方法及裝置。

背景技術

音樂或動作自動生成是當下人機交互的熱點方向之一，通過輸入一段音樂，機器可以自生成一段音樂或動作。然而，當下的自生成的方法，一、通過編舞師根據音樂節(jié)奏編舞，即舞曲來源于編舞師靈感，由于每個編舞師對音樂節(jié)奏，舞蹈動作的理解不一致，并且受個人習慣的影響，很難形成統一的舞曲庫，且非常耗費人工。二、通過算法對已有的舞蹈動作進行三維建模，形成舞曲動作庫，輸出舞蹈動作，即根據現有的舞曲，進行三維建模，能夠形成一些基礎的動作庫，但是方法僅限于現有的音樂舞曲動作，并且如果沒有給音樂配舞的情況下，很難找到與之匹配的舞蹈。而且音樂和舞蹈是獨立分來來，并沒有融合為一體。

為此，在現有技術中，音樂或舞蹈自生成的方式“預設置”模式，即提前把需要展示的舞蹈音樂等數據預先設置好，屬于“機器智能”，而且沒有根據外部環(huán)境把音樂與舞蹈兩部分內容結合輸出，音視頻數據還是相互獨立的輸出，可見智能化程度還較低，是當下該技術發(fā)展方向的難點。

發(fā)明內容

為了實現音樂與舞蹈兩部分內容融合智能輸出，有必要提供一種音視頻旋律動作自生成方法及裝置。

一種音視頻旋律動作自生成方法，包括：

S100：獲取音頻數據和視頻數據，所述視頻數據在內容上描述了對應于所述音頻數據的旋律動作；

S300：對所述音頻數據和所述視頻數據進行數值描述，生成在音頻和視頻維度上關聯的特征向量；

S500：將所述音頻特征向量和所述視頻特征向量結合，得到特征向量矩陣；

S700：所述特征向量矩陣通過預訓練的神經網絡生成個性化適配所述音頻數據和所述視頻數據的音視頻旋律動作。

在一實施例中，所述獲取音頻數據和所述視頻數據包括：通過所配置攝像頭攝錄獲取的音頻數據和視頻數據，或者通過預存儲在存儲設備的音頻數據和視頻數據，或者通過云存儲獲取的音頻數據和視頻數據。

在一實施例中，所述音頻特征向量的實現包括：S310A：對獲取的音頻信號進行預處理；S320A：對預處理后的音頻信號進行傅里葉變換得到語音頻譜信號；S330A：所述語音頻譜信號通過梅爾濾波器得到語音梅爾刻度；S340A：通過所述語音梅爾刻度計算得到梅爾倒譜系數，并得到音頻特征向量。

在一實施例中，步驟S310包括：S311A：對音頻信號預加重處理；S312A：對預加重的音頻信號進行分幀，所述分幀與窗函數相乘得到預處理音頻信號。

在一實施例中，所述視頻特征向量的實現包括：S310B：獲取視頻信號，所述視頻信號與所述音頻信號在時間序列上相關聯；S320B：提取所述視頻信號中的幀圖像，并對圖像中的目標設定關鍵點；S330B：獲取所述關鍵點的位置數據，并根據所述位置數據計算得到視頻特征向量。

在一實施例中，步驟330B包括：S331B：設定參考點的位置；S332B：獲得所述關鍵點到所述參考點的高斯距離；S333B：對所述關鍵點的高斯距離進行歸一化處理；S334B：所述歸一化處理的關鍵點構成視頻特征向量。