[發明專利]一種實現機器人跳舞的方法、設備和儲存介質

有效

• 申請號: 201811040032.9
• 申請日: 2018-09-06
• 公開（公告）號: CN109176541B
• 公開（公告）日: 2022-05-06
• 發明（設計）人: 張光肖
• 申請（專利權）人: 南京阿凡達機器人科技有限公司
• 主分類號: B25J11/00
• 分類號: B25J11/00;B25J9/16
• 代理公司: 上海碩力知識產權代理事務所(普通合伙) 31251
• 代理人: 郭桂峰

本發明提供了一種實現機器人跳舞的方法、設備和儲存介質，其方法包括：提取音頻源文件的音樂低階特征矩陣；所述音樂低階特征矩陣為音樂的表層特征的矩陣數據；將所述音樂低階特征矩陣輸入音樂特征分類模型中進行計算，獲得對應的音樂高階特征矩陣；所述音樂高階特征矩陣為音樂的深層特征的矩陣數據；將所述音樂高階特征矩陣輸入舞蹈動作生成模型中，生成滿足運動學約束條件的舞蹈動作。本發明實現減輕開發人員的時間精力，使得機器人能夠根據多個維度的音樂特征信息進行自主跳舞，以及提高舞蹈動作與音樂特征信息之間的匹配度的目的。

技術領域

本發明涉及機器人控制領域，尤指一種實現機器人跳舞的方法、設備和儲存介質。

背景技術

隨著機器人技術的發展，越來越多的消費級的機器人走進千家萬戶，然而機器人的智能程度直接影響用戶的體驗，其中機器人隨音樂跳舞是很常見的一個應用場景。所謂機器人隨音樂跳舞是指機器人根據給定的音頻源文件，獲取該音頻源文件的特征，然后根據該音樂的特征，生成舞蹈動作，從而實現隨音樂跳舞的功能。

目前機器人隨音樂跳舞的實現方式有兩種，一是開發人員提前根據音樂的類型、節奏、情緒等預先手動編排舞蹈動作，然后在播放音樂時機器人調取編排好的與播放音樂對應的舞蹈動作實現跳舞。二是開發人員首先獲取音樂的節拍信息，根據節拍信息隨機生成舞蹈動作或者映射到舞蹈動作庫生成舞蹈動作實現跳舞。

然而，第一種方式為開發人員需要先聆聽音樂后，人工理解音樂的節奏和情緒，然后人工提前編排舞蹈動作，而人工編排不僅僅效率比較低下，且跳舞效果與編排的開發人員的水平相關。第二種僅僅利用音樂的節拍信息生成舞蹈動作，舞蹈動作生成的維度低，導致舞蹈動作和音樂的匹配度較低，用戶體驗較差；此外，根據節拍信息自主隨機生成的舞蹈動作擬人化不夠，且無法體現音樂的起伏和情緒。

發明內容

本發明的目的是提供一種實現機器人跳舞的方法、設備和儲存介質，實現減輕開發人員的時間精力，使得機器人能夠根據多個維度的音樂特征信息進行自主跳舞，以及提高舞蹈動作與音樂特征信息之間的匹配度的目的。

本發明提供的技術方案如下：

本發明提供一種實現機器人跳舞的方法，包括步驟：

提取音頻源文件的音樂低階特征矩陣；所述音樂低階特征矩陣為音樂的表層特征的矩陣數據；

將所述音樂低階特征矩陣輸入音樂特征分類模型中進行計算，獲得對應的音樂高階特征矩陣，所述音樂高階特征矩陣為音樂的深層特征的矩陣數據；

將所述音樂高階特征矩陣輸入舞蹈動作生成模型中，生成滿足運動學約束條件的舞蹈動作。

本技術方案通過自主提取音樂低階特征矩陣，根據音樂低階特征矩陣得到對應的音樂高階特征矩陣，然后音樂高階特征矩陣生成對應的舞蹈動作，避免了由于人工預先編排舞蹈引起的效率低下和體驗好壞不一的問題，使得機器人能夠更高層次表達出音樂情緒、音樂節奏變化等，幫助機器人進一步理解音樂，使舞蹈動作在更高的維度和音樂匹配，提升機器人跳舞的觀賞性。

進一步的，所述獲取音頻源文件的音樂低階特征矩陣之前包括：

收集音樂樣本及其對應的舞蹈圖像樣本；

提取所述音樂樣本的音樂低階特征矩陣；

對所述音樂樣本進行標記得到其音樂高階特征矩陣；

對所述舞蹈圖像樣本進行標記得到其動作特征矩陣；

將所述音樂低階特征矩陣和所述音樂高階特征矩陣輸入訓練模型，并根據預設的模型參數訓練得到所述音樂特征分類模型；

將所述音樂高階特征矩陣和所述動作特征矩陣輸入訓練模型，并根據預設的模型參數訓練得到所述舞蹈動作生成模型。