[發明專利]音頻轉換方法、音頻轉換裝置及設備

在審

• 申請號: 202011589644.0
• 申請日: 2020-12-29
• 公開（公告）號: CN113539214A
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 田思達
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G10H1/00
• 分類號: G10H1/00;G10L25/30
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 王娟

本公開提供了一種音頻轉換方法、音頻轉換裝置及設備、計算機可讀存儲介質以及計算機程序產品。音頻轉換方法包括：獲取待轉換音頻以及指定轉換類型；對待轉換音頻進行音源分離處理，以獲取待轉換音頻的主旋律音軌；基于主旋律音軌預測待轉換音頻的樂譜，以生成預測樂譜；以及基于預測樂譜生成指定轉換類型的轉換音頻。本公開提供的音頻轉換方法擴大了可輸入的待轉換音頻的范圍，能夠生成沒有雜音、辨識度高的高質量轉換音頻，并且大大縮短了開發成本，提高了音頻轉換效率。

技術領域

本公開一般涉及計算機技術領域，并且更具體地涉及一種音頻轉換方法、音頻轉換裝置及設備、計算機可讀存儲介質以及計算機程序產品。

背景技術

在音樂領域中，有時希望將一段樂曲轉換為特定樂器演奏的音樂，或者將一種樂器演奏的音樂轉換為另一種樂器演奏的音樂，這一過程可以稱為樂器音轉換。得益于計算機技術的高度發展，樂器音轉換例如可以利用深度神經網絡來自動實現，而無需人工參與。例如，WaveNet是一種可以實現樂器音轉換的端對端網絡，即利用深度神經網絡直接對音頻文件的脈沖編碼調制數據(PCM數據，即對聲音進行采樣、量化和編碼而產生的用于計算機播放的數字信號)進行建模預測，并直接輸出指定轉換類型的音頻文件的PCM數據，即直接輸出轉換后的音頻文件。然而，諸如WaveNet等的現有樂器音轉換方法所生成的轉換音頻瑕疵較大，帶有較為明顯的雜音，樂器的音色辨識度不高，并且需要較大的時間成本。

發明內容

為了解決上述問題，本公開提供一種音頻轉換方法、音頻轉換裝置及設備、計算機可讀存儲介質以及計算機程序產品。

根據本公開實施例的一個方面，提供了一種音頻轉換方法，包括：獲取待轉換音頻以及指定轉換類型；對所述待轉換音頻進行音源分離處理，以獲取所述待轉換音頻的主旋律音軌；基于所述主旋律音軌預測所述待轉換音頻的樂譜，以生成預測樂譜；以及基于所述預測樂譜生成所述指定轉換類型的轉換音頻。

根據本公開實施例的示例，其中，獲取待轉換音頻包括：輸入包含音頻的多媒體內容或者所述多媒體內容的鏈接；以及提取所述多媒體內容中的音頻作為所述待轉換音頻。

根據本公開實施例的示例，其中，所述多媒體內容是視頻文件、音頻文件、視頻流、音頻流中的任一種，所述預測樂譜包括用符號表示的樂曲信息，所述樂曲信息包括具有音高、起始時間和終止時間的不同節拍。

根據本公開實施例的示例，其中，對所述待轉換音頻進行音源分離處理以獲取所述待轉換音頻的主旋律音軌包括：將所述待轉換音頻劃分為至少兩個分離音軌，所述至少兩個分離音軌包括主旋律音軌和至少一個非主旋律音軌，所述至少一個非主旋律音軌包括：人聲音軌、貝斯音軌、鼓點音軌、以及其他音軌中的至少一部分；從所述至少兩個分離音軌中提取所述主旋律音軌。

根據本公開實施例的示例，所述音頻轉換方法還包括：確定所述至少一個非主旋律音軌中的、要加入到所述轉換音頻中的目標非主旋律音軌；將所述目標非主旋律音軌添加到所述轉換音頻中。

根據本公開實施例的示例，其中，基于所述主旋律音軌預測所述待轉換音頻的樂譜以生成預測樂譜包括：提取所述主旋律音軌的聲音特征參數；以及將所述聲音特征參數輸入到深度神經網絡中進行預測，以生成所述預測樂譜。

根據本公開實施例的示例，其中，在基于所述預測樂譜生成所述指定轉換類型的轉換音頻之前，所述音頻轉換方法還包括：確定所述預測樂譜中的細碎節拍的數量與節拍的總數的比例，所述細碎節拍為持續時間小于預定時間閾值的節拍；以及在所述比例超過預定比例閾值時，對所述預測樂譜進行優化處理。

根據本公開實施例的示例，其中，對所述預測樂譜進行優化處理包括：對于處于同一音高的、同一小節內部的細碎節拍，執行以下處理中的一項或多項：合并臨近的細碎節拍；將細碎節拍分配至附近節拍；延長細碎節拍；以及刪除細碎節拍，其中，所述小節為所述預測樂譜中包括預定數量的節拍或者具有預定時間長度的單位。