[發明專利]人聲和伴奏分離方法及相關產品

有效

• 申請號: 202010027976.3
• 申請日: 2020-01-10
• 公開（公告）號: CN111192594B
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 莊曉濱;林森
• 申請（專利權）人: 騰訊音樂娛樂科技（深圳）有限公司
• 主分類號: G10L19/02
• 分類號: G10L19/02;G10L25/30;G10L25/48
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強;杜維

1.一種人聲和伴奏分離方法，其特征在于，包括：

對混合音頻進行傅里葉變換，得到所述混合音頻的第一頻譜圖，所述混合音頻為單聲道音頻，所述混合音頻是由人聲和伴奏進行混合得到的；

將所述第一頻譜圖輸入到神經網絡，得到所述人聲對應的第二頻譜圖以及所述伴奏對應的第三頻譜圖；具體包括：通過所述神經網絡確定所述第一頻譜圖中各個頻點對應的幅值中所述人聲所占的比例以及所述伴奏所占的比例；根據所述人聲所占的比例對所述第一頻譜圖進行分離，得到所述人聲對應的第二頻譜圖，根據所述伴奏所占的比例對所述第一頻譜圖進行分離，得到所述伴奏對應的第三頻譜圖；

根據所述第一頻譜圖對所述第二頻譜圖進行傅里葉反變換，得到所述人聲；以及根據所述第一頻譜圖對所述第三頻譜圖進行傅里葉反變換，得到所述伴奏。

2.根據權利要求1所述的方法，其特征在于，在對混合音頻進行傅里葉變換之前，所述方法還包括：

根據混合音頻的響度確定第一比例；

根據所述第一比例對所述混合音頻進行縮放，得到縮放后的所述混合音頻；

所述對混合音頻進行傅里葉變換，得到所述混合音頻的第一頻譜圖，包括：

對縮放后的所述混合音頻進行傅里葉變換，得到所述混合音頻的第一頻譜圖。

3.根據權利要求2所述的方法，其特征在于，所述根據所述第一頻譜圖對所述第二頻譜圖進行傅里葉反變換，得到所述人聲，包括：

根據所述第一頻譜圖確定所述混合音頻在頻域上的相位信息；

根據所述相位信息對所述第二頻譜圖進行傅里葉反變換，得到與所述第二頻譜圖對應的第一音頻；

按照第二比例對所述第一音頻進行縮放，得到所述人聲，其中，所述第一比例和所述第二比例為倒數關系。

4.根據權利要求2或3所述的方法，其特征在于，所述根據所述第一頻譜圖對所述第三頻譜圖進行傅里葉反變換，得到所述伴奏，包括：

根據所述第一頻譜圖確定所述混合音頻在頻域上的相位信息；

根據所述相位信息對所述第三頻譜圖進行傅里葉反變換，得到與所述第三頻譜圖對應的第二音頻；

按照第二比例對所述第二音頻進行縮放，得到所述伴奏，其中，所述第一比例和所述第二比例為倒數關系。

5.根據權利要求1所述的方法，其特征在于，在對混合音頻進行傅里葉變換之前，所述方法還包括：

獲取預設采樣頻率下的N個伴奏樣本和M個人聲樣本；

分別對所述N個伴奏樣本和所述M個人聲樣本進行擴充處理，得到X個伴奏樣本和Y個人聲樣本，所述擴充處理包括變調和/或變速；

分別對所述X個伴奏樣本和所述Y個人聲樣本進行縮放處理，得到縮放后的所述X個伴奏樣本和縮放后的所述Y個人聲樣本；

對縮放后的所述X個伴奏樣本和縮放后的所述Y個人聲樣本進行隨機混合，得到訓練數據集；

使用所述訓練數據進行模型訓練，得到所述神經網絡。

6.根據權利要求1所述的方法，其特征在于，所述通過所述神經網絡確定所述第一頻譜圖中各個頻點對應的幅值中所述人聲所占的比例以及所述伴奏所占的比例，包括：

使用所述神經網絡對所述第一頻譜圖進行處理，以增強所述第一頻譜圖中所述人聲的諧波特性，得到第一處理結果；

使用所述神經網絡對所述第一處理結果進行處理，得到第二處理結果；

使用所述神經網絡對所述第二處理結果進行處理，以增強所述第二處理結果中所述人聲的連續性，得到第三處理結果；

使用所述神經網絡對所述第三處理結果進行處理，得到第四處理結果；

根據所述第四處理結果得到所述第一頻譜圖中各個頻點所對應的幅值中所述人聲所占的比例以及所述伴奏所占的比例。