[發明專利]人聲和伴奏分離方法及相關產品

有效

• 申請號: 202010027976.3
• 申請日: 2020-01-10
• 公開（公告）號: CN111192594B
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 莊曉濱;林森
• 申請（專利權）人: 騰訊音樂娛樂科技（深圳）有限公司
• 主分類號: G10L19/02
• 分類號: G10L19/02;G10L25/30;G10L25/48
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強;杜維

本申請實施例公開了一種人聲和伴奏分離方法及相關產品，該方法包括：對混合音頻進行傅里葉變換，得到所述混合音頻的第一頻譜圖，所述混合音頻為單聲道音頻，所述混合音頻是由人聲和伴奏進行混合得到的；將所述第一頻譜圖輸入到神經網絡，得到所述人聲對應的第二頻譜圖以及所述伴奏對應的第三頻譜圖；根據所述第一頻譜圖對所述第二頻譜圖進行傅里葉反變換，得到所述人聲；以及根據所述第一頻譜圖對所述第三頻譜圖進行傅里葉反變換，得到所述伴奏。

技術領域

本申請涉及音頻處理技術領域，具體涉及一種人聲和伴奏分離方法及相關產品。

背景技術

近些年來，音樂創作速度呈現爆炸式增長，每天有成百上千的原唱歌曲產生。但與原唱歌曲相對應的K歌伴奏和K歌歌詞無法及時提供到K歌系統中使用。K歌系統中的絕大部分伴奏曲庫都需要專業人員進行錄制，錄制效率低，成本較高。因此，為了提高錄制效率，通過聲伴分離技術，將原唱歌曲中的歌聲和伴奏進行分離，將分離后的伴奏錄入到K歌系統。

但是，目前現有技術大部分針對雙聲道歌曲的聲伴分離，無法對單聲道歌曲進行，造成應用場景受限。并且，對雙聲道歌曲進行分離時，需要利用人聲在左右聲道中的強度相似，而伴奏和樂器在兩個聲道中的強度有明顯不同的特點才能將雙聲道歌曲中的伴奏和歌聲進行分離。因此，對雙聲道歌曲進行分離時，需要同時對左右聲道的混合歌曲進行分離，造成對雙聲道音頻的分離復雜度比較高。

發明內容

本申請實施例提供了一種人聲和伴奏分離方法及相關產品，通過對混合音頻的頻譜圖的分離，以實現對單聲道音頻的人聲和伴奏進行分離。

第一方面，本申請實施例提供一種人聲和伴奏分離方法，包括：

對混合音頻進行傅里葉變換，得到所述混合音頻的第一頻譜圖，所述混合音頻為單聲道音頻，所述混合音頻是由人聲和伴奏進行混合得到的；

將所述第一頻譜圖輸入到神經網絡，得到所述人聲對應的第二頻譜圖以及所述伴奏對應的第三頻譜圖；

根據所述第一頻譜圖對所述第二頻譜圖進行傅里葉反變換，得到所述人聲；以及根據所述第一頻譜圖對所述第三頻譜圖進行傅里葉反變換，得到所述伴奏。

第二方面，本申請實施例提供一種人聲和伴奏分離方法，包括：

對第一混合音頻和第二混合音頻分別進行傅里葉變換，得到所述第一混合音頻的第一頻譜圖以及第二混合音頻的第二頻譜圖，其中，所述第一混合音頻為雙聲道音頻中一個聲道上的音頻，所述第二混合音頻為所述雙聲道音頻中另一個聲道上的另一個混合音頻，所述第一混合音頻是由人聲和第一伴奏混合得到的，所述第二混合音頻是由所述人聲和第二伴奏混合得到的；

將所述第一頻譜圖輸入到神經網絡，得到所述人聲對應的第三頻譜圖以及所述第一伴奏對應的第四頻譜圖；

將所述第二頻譜圖輸入到所述神經網絡，得到所述人聲對應的第五頻譜圖以及所述第二伴奏對應的第六頻譜圖；

根據所述第一頻譜圖分別對所述第三頻譜圖和所述第四頻譜圖執行傅里葉反變換，得到所述人聲和所述第一伴奏；

根據所述第二頻譜圖分別對所述第五頻譜圖和所述第六頻譜圖執行傅里葉反變換，得到所述人聲和所述第二伴奏。

第三方面，本申請實施例提供了一種人聲和伴奏分離裝置，包括：

第一變換單元，用于對混合音頻進行傅里葉變換，得到所述混合音頻的第一頻譜圖，所述混合音頻為單聲道音頻，所述混合音頻是由人聲和伴奏進行混合得到的；

分離單元，用于將所述第一頻譜圖輸入到神經網絡，得到所述人聲對應的第二頻譜圖以及所述伴奏對應的第三頻譜圖；

第二變換單元，用于根據所述第一頻譜圖對所述第二頻譜圖進行傅里葉反變換，得到所述人聲；以及根據所述第一頻譜圖對所述第三頻譜圖進行傅里葉反變換，得到所述伴奏。