[發明專利]音樂舞蹈自編程機器人

在審

• 申請號: 202011565774.0
• 申請日: 2020-12-25
• 公開（公告）號: CN112720527A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 劉明;夏立文;范廣明;馬巖;潘璐璐;呼小亮
• 申請（專利權）人: 航天科工深圳（集團）有限公司
• 主分類號: B25J11/00
• 分類號: B25J11/00;G10L25/30;G10L25/48
• 代理公司: 深圳市沈合專利代理事務所(特殊普通合伙) 44373
• 代理人: 沈祖鋒

1.一種音樂舞蹈自編程機器人，其特征在于，包括：機器人本體，與所述機器人本體轉動連接的四肢與頭部，設置在所述機器人本體內的控制系統；

所述控制系統包括：電機，與所述四肢、所述頭部電連接；電源，與所述電機電連接；獲取模塊，獲取音頻數據和視頻數據；存儲模塊，存儲音樂舞蹈自編程算法；處理模塊，與所述電機、所述電源、所述獲取模塊以及所述存儲模塊連接，所述處理模塊通過所述獲取模塊所獲取的音頻數據和視頻數據，執行存儲在所述存儲模塊的音樂舞蹈自編程算法，輸出音視頻旋律動作，并控制所述電機在所述電源供電的基礎上驅動所述四肢與所述頭部的舞動；

所述音樂舞蹈自編程算法包括：

S100：獲取音頻數據和視頻數據，所述視頻數據在內容上描述了對應于所述音頻數據的旋律動作；

S300：對所述音頻數據和所述視頻數據進行數值描述，生成在音頻和視頻維度上關聯的特征向量；

S500：將所述音頻特征向量和所述視頻特征向量結合，得到特征向量矩陣；

S700：所述特征向量矩陣通過預訓練的神經網絡生成個性化適配所述音頻數據和所述視頻數據的音視頻旋律動作，所述音視頻旋律動作是面向所述音頻數據和所述視頻數據實現動態交互的音視頻數據。

2.根據權利要求1所述的音樂舞蹈自編程機器人，其特征在于，所述獲取音頻數據和所述視頻數據包括：

通過所配置攝像頭攝錄獲取的音頻數據和視頻數據，或者通過預存儲在存儲設備的音頻數據和視頻數據，或者通過云存儲獲取的音頻數據和視頻數據。

3.根據權利要求1或2所述的音樂舞蹈自編程機器人，其特征在于，所述音頻特征向量的實現包括：

S310A：對獲取的音頻信號進行預處理；

S320A：對預處理后的音頻信號進行傅里葉變換得到語音頻譜信號；

S330A：所述語音頻譜信號通過梅爾濾波器得到語音梅爾刻度；

S340A：通過所述語音梅爾刻度計算得到梅爾倒譜系數，并得到音頻特征向量。

4.根據權利要求3所述的音樂舞蹈自編程機器人，其特征在于，步驟S310包括：

S311A：對音頻信號預加重處理；

S312A：對預加重的音頻信號進行分幀，所述分幀與窗函數相乘得到預處理音頻信號。

5.根據權利要求4所述的音樂舞蹈自編程機器人，其特征在于，所述視頻特征向量的實現包括：

S310B：獲取視頻信號，所述視頻信號與所述音頻信號在時間序列上相關聯；

S320B：提取所述視頻信號中的幀圖像，并對圖像中的目標設定關鍵點；

S330B：獲取所述關鍵點的位置數據，并根據所述位置數據計算得到視頻特征向量。

6.根據權利要求5所述的音樂舞蹈自編程機器人，其特征在于，步驟330B包括：

S331B：設定參考點的位置；

S332B：獲得所述關鍵點到所述參考點的高斯距離；

S333B：對所述關鍵點的高斯距離進行歸一化處理；

S334B：所述歸一化處理的關鍵點構成視頻特征向量。

7.根據權利要求6所述的音樂舞蹈自編程機器人，其特征在于，步驟500包括：

S510：將所述音頻特征向量和所述視頻特征向量累加得到融合特征向量；

S520：所述融合特征向量按照時間序列形成特征向量矩陣。

8.根據權利要求7所述的音樂舞蹈自編程機器人，其特征在于，步驟700包括：

S710：所述特征向量矩陣通過編碼器進行編碼，再通過解碼器進行解碼，生成時間序列的個性化特征向量矩陣；

S720：所述個性化特征向量矩陣適配所述音頻數據和所述視頻數據的音視頻旋律動作。

9.根據權利要求1所述的音樂舞蹈自編程機器人，其特征在于，還包括：揚聲器，用于播放所述個性化的音頻數據。

10.根據權利要求1所述的音樂舞蹈自編程機器人，其特征在于，還包括：所述機器人為類人形機器人，機器人本體為軀干；所述四肢包括雙手和雙腿，所述雙手設置在所述軀干的上部，所述雙腿設置在所述軀干的下部，所述頭部設置在所述軀干的頂部。