[發明專利]基于深度神經網絡和音樂元素驅動的情感音樂生成方法

在審

• 申請號: 202110521289.1
• 申請日: 2021-05-13
• 公開（公告）號: CN113299255A
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 鄭凱桐;桑晉秋;孟瑞潔;鄭成詩;李曉東;蔡娟娟;王杰
• 申請（專利權）人: 中國科學院聲學研究所
• 主分類號: G10H1/00
• 分類號: G10H1/00;G06N3/04;G06N3/08
• 代理公司: 北京方安思達知識產權代理有限公司 11472
• 代理人: 楊青;李彪

本發明涉及智能音樂生成技術領域，尤其涉及基于深度神經網絡和音樂元素驅動的情感音樂生成方法。所述方法包括：獲取用戶指定的情感類型，并轉換為對應的音樂元素特征；將音樂元素特征輸入預先建立和訓練好的情感音樂生成模型，得到對應的情感音樂序列；對情感音樂序列進行解碼及合成處理，得到情感音樂。本發明使用人工智能算法生成音樂，并將情感因素融入智能音樂的生成系統中，以提升智能音樂的藝術感染力和情感渲染力；并且情感音樂生成不依賴大量的人工標記音樂數據。

技術領域

本發明涉及智能音樂生成技術領域，尤其涉及基于深度神經網絡和音樂元素驅動的情感音樂生成方法。

背景技術

智能音樂生成方法運用人工智能方法進行機器作曲，通過模擬作曲家的創作思維，提高音樂的生成效率和音樂創作的普遍性，更促進了音樂與計算機科學、神經科學、心理學等多學科交叉領域的發展。國外在智能音樂生成領域發展較為迅速，國外人工智能巨頭公司都對智能音樂生成技術展開了深入研究，我國在智能音樂生成領域發展尚處于起步階段,智能音樂生成系統和作品還較為零星，還未形成完整體系，且作品的可聽性有待提高。智能音樂生成是現今國內外計算機音樂領域的熱點研究課題，也是深度學習網絡在音樂創作方面的一個主要應用方向。遞歸神經網絡及其變體已被廣泛應用于序列數據的建模，其出色的時間建模能力使其適合于音樂生成。

情感是作曲家創作作品的重要元素，因此在音樂自動生成系統中十分重要。然而目前基于深度神經網絡的音樂生成系統在生成音樂時很少考慮情感的影響，因此系統缺乏基于特定情感生成音樂的能力。

在音樂心理學中，音樂情感與音樂元素之間的關系已經被證實。大量實驗結果表明，快速的音樂能夠激發快樂和緊張的情緒，而緩慢的音樂能夠激發平靜和悲傷的情緒。用大調作曲的音樂能夠激發正面的情緒，而用小調作曲的音樂能夠激發負面的情緒。

目前的情感音樂生成模型大多基于情感標簽，直接使用情感標簽和對應情感的音樂進行標簽映射，沒有考慮音樂結構的影響。基于標簽的方法需要一個人工標注的帶有不同情緒標簽的音樂數據集，人工標記這個音樂數據集需要大量的人力物力。本方法結合音樂心理學，將音樂調式和音樂速度作為兩種音樂元素特征用于訓練深度神經網絡，使其能夠生成具有特定情感的音樂。

以往的相關專利或論文均未采用過此種方法來搭建情感音樂生成的深度神經網絡模型。

發明內容

本發明的目的在于克服現有技術缺陷，提出了基于深度神經網絡和音樂元素驅動的情感音樂生成方法。

為了實現上述目的，本發明提出了一種基于深度神經網絡和音樂元素驅動的情感音樂生成方法，所述方法包括：

獲取用戶指定的情感類型，并轉換為對應的音樂元素特征；

將音樂元素特征輸入預先建立和訓練好的情感音樂生成模型，得到對應的情感音樂序列；

對情感音樂序列進行解碼及合成處理，得到情感音樂。

作為上述方法的一種改進，所述情感類型包括快樂、緊張、平靜和悲傷情緒。

作為上述方法的一種改進，所述獲取用戶指定的情感類型，并轉換為對應的音樂元素特征；具體包括：

根據獲取的情感類型，進行對應的音樂調式和音樂速度的轉換；其中，

快樂情緒對應大調音樂，快速音樂；

緊張情緒對應小調音樂，快速音樂；

平靜情緒對應大調音樂，慢速音樂；

悲傷情緒對應小調音樂，慢速音樂；

所述快速音樂為設定秒內音符個數大于閾值的音樂，所述慢速音樂為設定秒內音符個數小于閾值的音樂。