[發明專利]一種互動音樂生成方法、裝置、智能音箱及存儲介質

在審

• 申請號: 201911341110.3
• 申請日: 2019-12-23
• 公開（公告）號: CN111737516A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 張金暉
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/732
• 分類號: G06F16/732;G06F16/635;G06N3/04;G06N3/08
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種互動音樂生成方法，其特征在于，應用于智能音箱，包括：

獲取待處理視頻，提取所述待處理視頻中的圖像幀；

將所述圖像幀輸入至預先訓練好的音樂生成模型中，獲得所述音樂生成模型輸出的互動音樂；

將所述互動音樂進行播放。

2.根據權利要求1所述的方法，其特征在于，所述音樂生成模型包括特征提取網絡模塊和音樂生成網絡模塊，所述將所述圖像幀輸入至預先訓練好的音樂生成模型中，獲得所述音樂生成模型輸出的互動音樂，包括：

將所述圖像幀輸入至所述特征提取網絡模塊中，獲得所述特征提取網絡輸出的圖像特征向量；

將所述圖像特征向量輸入至所述音樂生成網絡模塊中，獲得所述音樂生成網絡輸出的互動音樂。

3.根據權利要求2所述的方法，其特征在于，還包括：

獲取樣本圖像幀以及所述樣本圖像幀對應的樣本音樂；

基于所述樣本圖像幀以及所述樣本圖像幀對應的樣本音樂構建音樂生成模型訓練樣本對，使用所述音樂生成模型訓練樣本對對預先構建的音樂生成模型進行訓練，得到訓練好的音樂生成模型。

4.根據權利要求3所述的方法，其特征在于，在使用所述音樂生成模型訓練樣本對對預先構建的音樂生成模型進行訓練之前，還包括：

將自編碼網絡模型中編碼網絡的卷積層設置參數設置為目標設置參數，得到構建好的特征提取網絡模塊。

5.根據權利要求2所述的方法，其特征在于，還包括：

獲取樣本圖像幀以及所述樣本圖像幀對應的樣本音樂；

基于所述樣本圖像幀構建自編碼網絡訓練樣本集，使用自編碼網絡訓練樣本集對預先構建的自編碼網絡模型進行訓練，得到訓練好的自編碼網絡模型，并將訓練好的自編碼網絡模型中的編碼網絡作為所述特征提取網絡模塊；

將所述樣本圖像幀輸入至所述特征提取網絡模塊中，獲取所述特征提取網絡模塊輸出的樣本圖像特征向量；

基于所述樣本圖像特征向量以及所述樣本圖像特征向量對應的樣本音樂構建音樂生成網絡訓練樣本對，使用所述音樂生成網絡訓練樣本對對預先構建的音樂生成網絡模塊進行訓練，得到訓練好的音樂生成網絡模塊；

根據訓練好的特征提取網絡模塊和訓練好的音樂生成網絡模塊得到訓練好的音樂生成模型。

6.根據權利要求2所述的方法，其特征在于，還包括：

在循環神經網絡與wavenet網絡之間添加傅里葉變換模塊，得到構建好的音樂生成網絡模塊。

7.根據權利要求1所述的方法，其特征在于，所述提取所述待處理視頻中的圖像幀，包括：

按照設定幀數間隔抽取所述待處理視頻中的視頻幀作為所述圖像幀。

8.一種互動音樂生成裝置，其特征在于，包括：

圖像幀獲取模塊，用于獲取待處理視頻，提取所述待處理視頻中的圖像幀；

互動音樂生成模塊，用于將所述圖像幀輸入至預先訓練好的音樂生成模型中，獲得所述音樂生成模型輸出的互動音樂；

互動音樂播放模塊，用于將所述互動音樂進行播放。

9.一種智能音箱，其特征在于，所述音箱包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序；

當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現如權利要求1-7中任一所述的互動音樂生成方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如權利要求1-7中任一所述的互動音樂生成方法。