[發明專利]一種基于詩歌自動化作曲的方法及音頻合成裝置

在審

• 申請號: 202110491659.1
• 申請日: 2021-05-06
• 公開（公告）號: CN113192473A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 尹學淵;楊杰;陳洪宇;江天宇
• 申請（專利權）人: 成都潛在人工智能科技有限公司
• 主分類號: G10H1/00
• 分類號: G10H1/00
• 代理公司: 成都睿道專利代理事務所(普通合伙) 51217
• 代理人: 賀理興

1.一種基于詩歌自動化作曲的方法，其特征在于，包括如下步驟：

S1.獲取待合成的目標詩歌的細粒度屬性信息；

S2.基于所述細粒度屬性信息或其與輸入的音頻效果的結合調用預構建的旋律數據庫內對應的節奏型、調式調性以及和聲，利用和聲進行和對應的節奏型生成旋律，并保存為旋律midi文件；

S3.基于所述細粒度屬性信息、旋律midi文件以及和聲進行，調用預構建的伴奏數據庫，生成對應的伴奏樂譜并保存為伴奏midi文件；

S4.將所述旋律midi文件輸入基于深度學習的fastspeech模型中進行處理，生成干聲音頻文件；

S5.對所述伴奏midi文件進行波形拼接，得到伴奏音頻文件；

S6.對所述干聲音頻文件和伴奏音頻文件進行混音處理，合成音樂作品。

2.如權利要求1所述的基于詩歌自動化作曲的方法，其特征在于，所述細粒度信息包括但不限于曲式結構和情緒維度。

3.如權利要求2所述的基于詩歌自動化作曲的方法，其特征在于，步驟S1具體包括：

S11.對目標詩歌進行段落劃分，確定曲式結構；

S12.將目標詩歌輸入預訓練的深度學習模型中進行處理，獲取目標詩歌的情緒維度。

4.如權利要求3所述的基于詩歌自動化作曲的方法，其特征在于，步驟S2之前還包括：采用包括但不限于畫筆輸入或哼唱輸入的方式獲取音頻效果，其中，

畫筆輸入的方式為：獲取用戶通過畫筆所輸入的線條并對線條進行解析，獲取音高關系；

哼唱輸入的方式為：獲取用戶通過哼唱所輸入的旋律并對旋律進行解析，提取音高。

5.如權利要求3所述的基于詩歌自動化作曲的方法，其特征在于，步驟S2具體包括：

S21.基于所述曲式結構，確定目標詩歌每句的字數；

S22.根據所確定的字數，在旋律數據庫中檢索對應長度的節奏型；

S23.為目標詩歌分配和聲進行；

S24.按預設規則依次填充節奏型當中的所有音符，形成旋律音符序列，其中，所述預設規則為：重要的音符對應填充和弦內音，不重要的音符對應填充和弦外音；

S25.將旋律音符序列發送至人機交互應用客戶端進行顯示。

6.如權利要求5所述的基于詩歌自動化作曲的方法，其特征在于，步驟S2還包括：

S26.獲取人機交互應用客戶端發送的操作指令，所述操作指令用以指示所要修改的目標旋律中的音符；

S27.響應所述操作指令修改所述音符。

7.一種基于詩歌自動化作曲的音頻合成裝置，應用到如前述權利要求1-6任一項所述的方法，其特征在于，包括：

數據預處理模塊，用以獲取待合成的目標詩歌的細粒度屬性信息；

交互式作曲模塊(200)，與所述數據預處理模塊連接，用以基于所述細粒度屬性信息或其與輸入的音頻效果的結合調用預構建的旋律數據庫內對應的節奏型、調式調性以及和聲，利用和聲進行和對應的節奏型生成旋律，并保存為旋律midi文件；

自動化伴奏模塊(300)，分別與所述數據預處理模塊和交互式作曲模塊(200)連接，用以基于所述細粒度屬性信息、旋律midi文件以及和聲進行，調用預構建的伴奏數據庫，生成對應的伴奏樂譜并保存為伴奏midi文件；

音頻合成模塊(400)，其包括歌唱合成模塊(410)、器樂合成模塊(420)以及混音模塊(430)，其中

所述歌唱合成模塊(410)與所述交互式作曲模塊(200)連接，用以將所述旋律midi文件輸入基于深度學習的fastspeech模型中進行處理，生成干聲音頻文件；

所述器樂合成模塊(420)與所述自動化伴奏模塊(300)連接，用以對所述伴奏midi文件進行波形拼接，得到伴奏音頻文件；

所述混音模塊(430)，分別與所述歌唱合成模塊(410)以及器樂合成模塊(420)連接，用以對所述干聲音頻文件和伴奏音頻文件進行混音處理，合成音樂作品。