[發(fā)明專利]音頻分離方法、裝置、電子設(shè)備及計算機可讀存儲介質(zhì)有效
| 申請?zhí)枺?/td> | 202010780016.4 | 申請日： | 2020-08-05 |
| 公開（公告）號： | CN111724807B | 公開（公告）日： | 2023-08-11 |
| 發(fā)明（設(shè)計）人： | 孔秋強;宋旭晨;王雨軒 | 申請（專利權(quán)）人： | 字節(jié)跳動有限公司 |
| 主分類號： | G10L21/028 | 分類號： | G10L21/028;G10L25/30;G10L25/48;G06N3/0464;G06N3/0455;G06N3/048;G06N3/08 |
| 代理公司： | 北京風(fēng)雅頌專利代理有限公司 11403 | 代理人： | 鄭穎穎 |
| 地址： | 美國加利*** | 國省代碼： | 暫無信息 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 音頻 分離 方法 裝置 電子設(shè)備 計算機 可讀 存儲 介質(zhì) | ||
本公開提供了一種音頻分離方法、裝置、電子設(shè)備及計算機可讀存儲介質(zhì)，涉及音頻處理領(lǐng)域。該方法包括：獲取待分離的音頻；所述待分離的音頻包含至少兩種類型的音軌；將所述音頻輸入訓(xùn)練后的音頻分離模型，以使得所述分離模型中的第一分支基于頻譜圖對所述音頻進行分離，得到第一分離結(jié)果，以及使得所述分離模型中的第二分支基于時域?qū)λ鲆纛l進行分離，得到第二分離結(jié)果，并基于所述第一分離結(jié)果和所述第二分離結(jié)果得到分離后的目標(biāo)音軌；所述目標(biāo)音軌的類型為所述至少兩種類型中的任一種，且與所述訓(xùn)練后的音頻分離模型的分離類型相同；輸出所述目標(biāo)音軌。本公開達到了音樂源分離的最新性能。
技術(shù)領(lǐng)域
本公開涉及音頻處理技術(shù)領(lǐng)域，具體而言，本公開涉及一種音頻分離方法、裝置、電子設(shè)備及計算機可讀存儲介質(zhì)。
背景技術(shù)
音樂源分離(MSS)是將音樂作品分離成單獨的源(例如樂器和人聲)的任務(wù)。
現(xiàn)有的MSS方法可以分為基于頻譜圖的方法和時域方法。其中，基于頻譜圖的方法無法估計源的相位；而時域方法沒有超越基于頻譜圖的MSS方法。也就是說，基于頻譜圖的方法和時域方法的分離效果都不理想。
因此，亟需一種MSS方法來解決基于頻譜圖的方法和時域方法的分離效果都不理想的問題。
發(fā)明內(nèi)容
提供該發(fā)明內(nèi)容部分以便以簡要的形式介紹構(gòu)思，這些構(gòu)思將在后面的具體實施方式部分被詳細描述。該發(fā)明內(nèi)容部分并不旨在標(biāo)識要求保護的技術(shù)方案的關(guān)鍵特征或必要特征，也不旨在用于限制所要求的保護的技術(shù)方案的范圍。
本公開提供了一種音頻分離方法、裝置、電子設(shè)備及計算機可讀存儲介質(zhì)，用于解決基于頻譜圖的方法和時域方法的分離效果都不理想的技術(shù)問題。
第一方面，提供了一種音頻分離方法，該方法包括：
獲取待分離的音頻；所述待分離的音頻包含至少兩種類型的音軌；
將所述音頻輸入訓(xùn)練后的音頻分離模型，以使得所述分離模型中的第一分支基于頻譜圖對所述音頻進行分離，得到第一分離結(jié)果，以及使得所述分離模型中的第二分支基于時域?qū)λ鲆纛l進行分離，得到第二分離結(jié)果，并基于所述第一分離結(jié)果和所述第二分離結(jié)果得到分離后的目標(biāo)音軌；所述目標(biāo)音軌的類型為所述至少兩種類型中的任一種，且與所述訓(xùn)練后的音頻分離模型的分離類型相同；
輸出所述目標(biāo)音軌。
第二方面，提供了一種音頻分離裝置，該裝置包括：
獲取模塊，用于獲取待分離的音頻；所述待分離的音頻包含至少兩種類型的音軌；
處理模塊，用于將所述音頻輸入訓(xùn)練后的音頻分離模型，以使得所述分離模型中的第一分支基于頻譜圖對所述音頻進行分離，得到第一分離結(jié)果，以及使得所述分離模型中的第二分支基于時域?qū)λ鲆纛l進行分離，得到第二分離結(jié)果，并基于所述第一分離結(jié)果和所述第二分離結(jié)果得到分離后的目標(biāo)音軌；所述目標(biāo)音軌的類型為所述至少兩種類型中的任一種，且與所述訓(xùn)練后的音頻分離模型的分離類型相同；
輸出模塊，用于輸出所述目標(biāo)音軌。
第三方面，提供了一種電子設(shè)備，該電子設(shè)備包括：
處理器、存儲器和總線；
所述總線，用于連接所述處理器和所述存儲器；
所述存儲器，用于存儲操作指令；
所述處理器，用于通過調(diào)用所述操作指令，可執(zhí)行指令使處理器執(zhí)行如本公開的第一方面所示的音頻分離方法對應(yīng)的操作。
第四方面，提供了一種計算機可讀存儲介質(zhì)，計算機可讀存儲介質(zhì)上存儲有計算機程序，該程序被處理器執(zhí)行時實現(xiàn)本公開第一方面所示的音頻分離方法。
本公開提供的技術(shù)方案帶來的有益效果是：
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于字節(jié)跳動有限公司，未經(jīng)字節(jié)跳動有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010780016.4/2.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
