[發明專利]音頻分離方法、裝置、電子設備及計算機可讀存儲介質

有效

• 申請號: 202010780016.4
• 申請日: 2020-08-05
• 公開（公告）號: CN111724807B
• 公開（公告）日: 2023-08-11
• 發明（設計）人: 孔秋強;宋旭晨;王雨軒
• 申請（專利權）人: 字節跳動有限公司
• 主分類號: G10L21/028
• 分類號: G10L21/028;G10L25/30;G10L25/48;G06N3/0464;G06N3/0455;G06N3/048;G06N3/08
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 鄭穎穎

1.一種音頻分離方法，其特征在于，包括：

獲取待分離的音頻；所述待分離的音頻包含至少兩種類型的音軌；

將所述音頻輸入訓練后的音頻分離模型，以使得所述分離模型中的第一分支基于頻譜圖對所述音頻進行分離，得到第一分離結果，以及使得所述分離模型中的第二分支基于時域對所述音頻進行分離，得到第二分離結果，并基于所述第一分離結果和所述第二分離結果得到分離后的目標音軌；所述目標音軌的類型為所述至少兩種類型中的任一種，且與所述訓練后的音頻分離模型的分離類型相同；

輸出所述目標音軌；

其中，所述基于所述第一分離結果和所述第二分離結果得到分離后的目標音軌，包括：

將第一音軌與第二音軌進行整合，得到目標音軌。

2.根據權利要求1所述的音頻分離方法，其特征在于，所述音頻分離模型通過如下方式生成：

基于預設的原始音頻集生成新的目標音頻集；所述目標音頻集包含至少一個目標音頻樣本，每個目標音頻樣本包含至少兩種類型的目標音軌樣本；

將所述目標音頻集中的任一目標音頻樣本輸入預設的音頻分離模型，以使得所述分離模型中的第一分支基于頻譜圖對所述音頻樣本進行分離，得到第三分離結果，以及使得所述分離模型中的第二分支基于時域對所述音頻樣本進行分離，得到第四分離結果，并基于所述第三分離結果和所述第四分離結果得到預測音軌；

基于所述預測音軌與所述任一目標音頻樣本中相同類型的目標音軌樣本計算得到損失函數，并基于所述損失函數對所述預設的音頻分離模型的各個預設參數進行更新；

重復執行將所述目標音頻集中的任一目標音頻樣本輸入預設的音頻分離模型，以使得所述分離模型中的第一分支基于頻譜圖對所述音頻樣本進行分離，得到第三分離結果，以及使得所述分離模型中的第二分支基于時域對所述音頻樣本進行分離，得到第四分離結果，并基于所述第三分離結果和所述第四分離結果得到預測音軌，以及，基于所述預測音軌與所述任一目標音頻樣本中相同類型的目標音軌樣本計算得到損失函數，并基于所述損失函數對所述預設的音頻分離模型的各個預設參數進行更新的步驟，直至所述損失函數最小值收斂，得到訓練后的音頻分離模型。

3.根據權利要求1所述的音頻分離方法，其特征在于，所述音頻分離模型中的第一分支基于頻譜圖對所述音頻進行分離，得到第一分離結果，包括：

對所述音頻進行傅里葉變換，得到所述音頻的頻譜圖；

計算得到所述頻譜圖的相位；

基于所述相位確定出待分離類型的第一音軌的頻譜圖；

對所述第一音軌的頻譜圖進行反傅里葉變換，得到第一音軌。

4.根據權利要求1所述的音頻分離方法，其特征在于，所述音頻分離模型中的第二分支基于時域對所述音頻進行分離，得到第二分離結果，包括：

基于預設的時域回歸函數對所述音頻進行分離，得到待分離類型的第二音軌。

5.根據權利要求2所述的音頻分離方法，其特征在于，所述原始音頻集包含至少一個類型的音軌，每個類型的音軌包含至少一條原始音軌；

所述基于預設的原始音頻集生成新的目標音頻集，包括：

從各個類型的各個原始音軌中各自隨機提取出兩段預設時長的音軌片段；

將兩段音軌片段進行混合，得到具有所述預設時長的、混合后的各個第一音軌片段；

將不同類型的任意兩個第一音軌片段進行混合，得到具有所述預設時長的、混合后的各個第二音軌片段，并將各個第二音軌片段作為各個目標音頻樣本。