[發明專利]一種由圖像生成音樂的方法及相關裝置

在審

• 申請號: 202111447570.1
• 申請日: 2021-11-30
• 公開（公告）號: CN114139682A
• 公開（公告）日: 2022-03-04
• 發明（設計）人: 楊玉;盧愛芬
• 申請（專利權）人: 廣州科技職業技術大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G10L25/30
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 姚詠華

本發明公開一種由圖像生成音樂的方法及相關裝置，該方法的過程包括：獲取圖像，采用卷積和循環神經網絡組合的方法，由有卷積對該圖像進行編碼，用循環神經網絡進行解碼，從而生成音樂。本發明采用深度學習卷積和循環神經網絡結合的方法，實現了從圖像生成音樂的方法，模仿人們看到圖像，耳邊產生音樂的觸景生情的情景。

技術領域

本發明屬于圖像處理技術領域，具體涉及一種由圖像生成音樂的方法及相關裝置，尤其是涉及一種基于深度學習的生成音樂的方法。

背景技術

大多情況下，人們看到一副圖像時，腦海中會產生一種情緒，仿佛聽到了一段音樂。用觸景生情來表述，更合適不過了。用算法生成音樂領域中，通常有以下兩種方法：一、基于規則與音樂樂理知識相結合的方法，例如勛伯格的十二音體系作為算法規則生成音樂的方法。二、機器學習和神經網絡的方法，也是當前比較熱門的方法。傳統機器學習的方法主要基于統計學的方法。目前利用人工智能生成音樂的方法中，大多基于循環神經網絡，對音樂數據的訓練產生，而無法對一副圖像產生音樂的表述。

發明內容

為了解決現有技術中存在的問題，本發明的目的在于提出一種由圖像生成音樂的方法及相關裝置，本發明通過對圖像進行數據處理，得到一段音樂。

本發明采用的技術方案如下：

一種由圖像生成音樂的方法，其特征在于，包括如下過程：

將圖像通過卷積生成向量編碼；

將所述向量編碼用已訓練好的循環神經網絡進行解碼，從而生成音樂。

優選的，向量編碼格式為78維one-hot格式的數據。

優選的，循環神經網絡在訓練時，采用足夠的音樂數據集對循環神經網絡進行訓練，獲得訓練好的循環神經網絡，并保存該循環神經網絡結構和權重系數。

本發明還提供了一種由圖像生成音樂的系統，包括：

編碼模塊：用于將圖像通過卷積生成向量編碼；

解碼模塊：用于將所述向量編碼用已訓練好的循環神經網絡進行解碼，從而生成音樂。

優選的，編碼模塊用于將圖像通過卷積生成向量編碼格式為78維one-hot格式的數據。

優選的，編碼模塊包括依次相接的卷積層、池化層、激活函數和全連接層。

優選的，解碼模塊包括依次串聯的多個卷積層和多個LSTM長短時記憶網絡，多個LSTM長短時記憶網絡中，從第二個LSTM長短時記憶網絡至最后一個LSTM長短時記憶網絡，均連接softmax回歸函數。

優選的，本發明由圖像生成音樂的系統，還包括：

圖像獲取模塊：用于獲取單張圖像。

本發明還提供了一種電子設備，包括：

一個或多個處理器；

存儲裝置，其上存儲有一個或多個程序；

當所述一個或多個程序被所述一個或多個處理器執行時，使得所述一個或多個處理器實現如上所述的由圖像生成音樂的方法。

本發明還提供了一種存儲介質，其上存儲有計算機程序，其中，所述計算機程序被處理器執行時實現如上所述的由圖像生成音樂的方法。

本發明具有如下有益效果：

本發明通過將采集的圖像通過卷積生成向量編碼；將向量編碼用已訓練好的循環神經網絡進行解碼，從而生成音樂。與現有技術相比，本發明采用深度學習卷積和循環神經網絡結合的方法，實現了從圖像生成音樂的方法，模仿人們看到圖像，耳邊產生音樂的觸景生情的情景。

附圖說明