[發明專利]基于深度神經網絡和音樂元素驅動的情感音樂生成方法

在審

• 申請號: 202110521289.1
• 申請日: 2021-05-13
• 公開（公告）號: CN113299255A
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 鄭凱桐;桑晉秋;孟瑞潔;鄭成詩;李曉東;蔡娟娟;王杰
• 申請（專利權）人: 中國科學院聲學研究所
• 主分類號: G10H1/00
• 分類號: G10H1/00;G06N3/04;G06N3/08
• 代理公司: 北京方安思達知識產權代理有限公司 11472
• 代理人: 楊青;李彪

1.一種基于深度神經網絡和音樂元素驅動的情感音樂生成方法，所述方法包括：

獲取用戶指定的情感類型，并轉換為對應的音樂元素特征；

將音樂元素特征輸入預先建立和訓練好的情感音樂生成模型，得到對應的情感音樂序列；

對情感音樂序列進行解碼及合成處理，得到情感音樂。

2.根據權利要求1所述的基于深度神經網絡和音樂元素驅動的情感音樂生成方法，其特征在于，所述情感類型包括快樂、緊張、平靜和悲傷情緒。

3.根據權利要求2所述的基于深度神經網絡和音樂元素驅動的情感音樂生成方法，所述獲取用戶指定的情感類型，并轉換為對應的音樂元素特征；具體包括：

根據獲取的情感類型，進行對應音樂元素特征的轉換，所述音樂元素特征包括音樂調式和音樂速度；其中，

快樂情緒對應大調音樂，快速音樂；

緊張情緒對應小調音樂，快速音樂；

平靜情緒對應大調音樂，慢速音樂；

悲傷情緒對應小調音樂，慢速音樂；

所述快速音樂為設定秒內音符個數大于閾值的音樂，所述慢速音樂為設定秒內音符個數小于閾值的音樂。

4.根據權利要求1所述的基于深度神經網絡和音樂元素驅動的情感音樂生成方法，其特征在于，所述情感音樂生成模型為門控循環單元網絡，輸入為音樂元素特征，輸出為對應不同音樂元素特征的音樂序列。

5.根據權利要求4所述的基于深度神經網絡和音樂元素驅動的情感音樂生成方法，其特征在于，所述方法還包括情感音樂生成模型的訓練步驟；具體包括：

獲取MIDI格式的音樂文件作為樣本集；

對樣本集的每個音樂文件進行預處理，得到若干個音樂序列，以及每個音樂序列對應的音樂元素特征，構成訓練集；

將訓練集依次輸入情感音樂生成模型，將交叉熵損失函數作為損失函數，使用設定衰減率的Adam優化器進行訓練，得到訓練好的情感音樂生成模型。

6.根據權利要求5所述的基于深度神經網絡和音樂元素驅動的情感音樂生成方法，其特征在于，所述預處理具體包括：

對每個音樂文件進行切分，得到若干個音樂段；

從每個音樂段中讀取每個音符的起始時間、終止時間、音高信息、音量信息四種音符信息，由起始時間確定音符開始事件，由終止時間確定音符結束事件和時移事件，對音量信息進行設定范圍值的映射，得到音量改變事件，對音符開始事件、音符結束事件、時移事件和音量改變事件進行編碼得到音樂序列；

遍歷每個音樂段，統計不同音高的音符出現次數以及每設定秒內音符的個數，得到對應的音高統計圖，并由每設定秒內音符的個數計算得到音樂速度；

將音樂序列以及對應的音樂調式和音樂速度，構成訓練集。

7.根據權利要求5所述的基于深度神經網絡和音樂元素驅動的情感音樂生成方法，其特征在于，所述交叉熵損失函數L為：

其中，y表示實際的音符概率分布，表示預測的音符概率分布，i表示第i個音樂序列，n表示音樂序列總數。

8.根據權利要求5所述所述的基于深度神經網絡和音樂元素驅動的情感音樂生成方法，其特征在于，所述對樣本集的每個音樂文件進行預處理之前還包括：對每個樣本文件進行人工標注，得到情感標簽。

9.根據權利要求8所述所述的基于深度神經網絡和音樂元素驅動的情感音樂生成方法，其特征在于，所述訓練集還包括音樂序列對應的情感標簽。

10.一種基于深度神經網絡和音樂元素驅動的情感音樂生成系統，其特征在于，所述系統包括：情感音樂生成模型、情感類型轉換模塊、情感音樂序列輸出模塊和解碼合成模塊；其中，

所述情感類型轉換模塊，用于獲取用戶指定的情感類型，并轉換為對應的音樂元素特征；

所述情感音樂序列輸出模塊，用于將音樂元素特征輸入預先建立和訓練好的情感音樂生成模型，得到對應的情感音樂序列；

所述解碼合成模塊，用于對情感音樂序列進行解碼及合成處理，得到情感音樂。