[發(fā)明專利]音頻分離方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010780016.4
• 申請(qǐng)日: 2020-08-05
• 公開(kāi)（公告）號(hào): CN111724807B
• 公開(kāi)（公告）日: 2023-08-11
• 發(fā)明（設(shè)計(jì)）人: 孔秋強(qiáng);宋旭晨;王雨軒
• 申請(qǐng)（專利權(quán)）人: 字節(jié)跳動(dòng)有限公司
• 主分類號(hào): G10L21/028
• 分類號(hào): G10L21/028;G10L25/30;G10L25/48;G06N3/0464;G06N3/0455;G06N3/048;G06N3/08
• 代理公司: 北京風(fēng)雅頌專利代理有限公司 11403
• 代理人: 鄭穎穎

本公開(kāi)提供了一種音頻分離方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，涉及音頻處理領(lǐng)域。該方法包括：獲取待分離的音頻；所述待分離的音頻包含至少兩種類型的音軌；將所述音頻輸入訓(xùn)練后的音頻分離模型，以使得所述分離模型中的第一分支基于頻譜圖對(duì)所述音頻進(jìn)行分離，得到第一分離結(jié)果，以及使得所述分離模型中的第二分支基于時(shí)域?qū)λ鲆纛l進(jìn)行分離，得到第二分離結(jié)果，并基于所述第一分離結(jié)果和所述第二分離結(jié)果得到分離后的目標(biāo)音軌；所述目標(biāo)音軌的類型為所述至少兩種類型中的任一種，且與所述訓(xùn)練后的音頻分離模型的分離類型相同；輸出所述目標(biāo)音軌。本公開(kāi)達(dá)到了音樂(lè)源分離的最新性能。

技術(shù)領(lǐng)域

本公開(kāi)涉及音頻處理技術(shù)領(lǐng)域，具體而言，本公開(kāi)涉及一種音頻分離方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

音樂(lè)源分離(MSS)是將音樂(lè)作品分離成單獨(dú)的源(例如樂(lè)器和人聲)的任務(wù)。

現(xiàn)有的MSS方法可以分為基于頻譜圖的方法和時(shí)域方法。其中，基于頻譜圖的方法無(wú)法估計(jì)源的相位；而時(shí)域方法沒(méi)有超越基于頻譜圖的MSS方法。也就是說(shuō)，基于頻譜圖的方法和時(shí)域方法的分離效果都不理想。

因此，亟需一種MSS方法來(lái)解決基于頻譜圖的方法和時(shí)域方法的分離效果都不理想的問(wèn)題。

發(fā)明內(nèi)容

提供該發(fā)明內(nèi)容部分以便以簡(jiǎn)要的形式介紹構(gòu)思，這些構(gòu)思將在后面的具體實(shí)施方式部分被詳細(xì)描述。該發(fā)明內(nèi)容部分并不旨在標(biāo)識(shí)要求保護(hù)的技術(shù)方案的關(guān)鍵特征或必要特征，也不旨在用于限制所要求的保護(hù)的技術(shù)方案的范圍。

本公開(kāi)提供了一種音頻分離方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，用于解決基于頻譜圖的方法和時(shí)域方法的分離效果都不理想的技術(shù)問(wèn)題。

第一方面，提供了一種音頻分離方法，該方法包括：

獲取待分離的音頻；所述待分離的音頻包含至少兩種類型的音軌；

將所述音頻輸入訓(xùn)練后的音頻分離模型，以使得所述分離模型中的第一分支基于頻譜圖對(duì)所述音頻進(jìn)行分離，得到第一分離結(jié)果，以及使得所述分離模型中的第二分支基于時(shí)域?qū)λ鲆纛l進(jìn)行分離，得到第二分離結(jié)果，并基于所述第一分離結(jié)果和所述第二分離結(jié)果得到分離后的目標(biāo)音軌；所述目標(biāo)音軌的類型為所述至少兩種類型中的任一種，且與所述訓(xùn)練后的音頻分離模型的分離類型相同；

輸出所述目標(biāo)音軌。

第二方面，提供了一種音頻分離裝置，該裝置包括：

獲取模塊，用于獲取待分離的音頻；所述待分離的音頻包含至少兩種類型的音軌；

處理模塊，用于將所述音頻輸入訓(xùn)練后的音頻分離模型，以使得所述分離模型中的第一分支基于頻譜圖對(duì)所述音頻進(jìn)行分離，得到第一分離結(jié)果，以及使得所述分離模型中的第二分支基于時(shí)域?qū)λ鲆纛l進(jìn)行分離，得到第二分離結(jié)果，并基于所述第一分離結(jié)果和所述第二分離結(jié)果得到分離后的目標(biāo)音軌；所述目標(biāo)音軌的類型為所述至少兩種類型中的任一種，且與所述訓(xùn)練后的音頻分離模型的分離類型相同；

輸出模塊，用于輸出所述目標(biāo)音軌。

第三方面，提供了一種電子設(shè)備，該電子設(shè)備包括：

處理器、存儲(chǔ)器和總線；

所述總線，用于連接所述處理器和所述存儲(chǔ)器；

所述存儲(chǔ)器，用于存儲(chǔ)操作指令；

所述處理器，用于通過(guò)調(diào)用所述操作指令，可執(zhí)行指令使處理器執(zhí)行如本公開(kāi)的第一方面所示的音頻分離方法對(duì)應(yīng)的操作。

第四方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)本公開(kāi)第一方面所示的音頻分離方法。

本公開(kāi)提供的技術(shù)方案帶來(lái)的有益效果是：