[發(fā)明專利]語音分離網(wǎng)絡(luò)生成方法、裝置、電子設(shè)備以及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210975124.6
• 申請日: 2022-08-15
• 公開（公告）號: CN115331694A
• 公開（公告）日: 2022-11-11
• 發(fā)明（設(shè)計(jì)）人: 姚鵬;王洋;李晨星;談建超;鄧峰;王曉瑞;宋成儒
• 申請（專利權(quán)）人: 北京達(dá)佳互聯(lián)信息技術(shù)有限公司
• 主分類號: G10L21/0272
• 分類號: G10L21/0272;G10L25/30;G10L19/16;G10L19/02
• 代理公司: 北京三高永信知識產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 李加欣

本公開關(guān)于一種語音分離網(wǎng)絡(luò)生成方法、裝置、電子設(shè)備以及存儲介質(zhì)，屬于語音處理技術(shù)領(lǐng)域，該方法包括：在給定多個樣本音頻信號的基礎(chǔ)上，迭代訓(xùn)練獲取到的語音分離超網(wǎng)絡(luò)，其中，該語音分離超網(wǎng)絡(luò)包括編碼器和解碼器，編碼器和解碼器均包括多個網(wǎng)絡(luò)層和搜索空間，該搜索空間配置有多個網(wǎng)絡(luò)層的結(jié)構(gòu)參數(shù)。進(jìn)一步地，基于訓(xùn)練后的語音分離超網(wǎng)絡(luò)，生成符合目標(biāo)條件的目標(biāo)語音分離子網(wǎng)絡(luò)。在上述過程中，通過設(shè)計(jì)一種配置有結(jié)構(gòu)參數(shù)的搜索空間，實(shí)現(xiàn)了基于語音分離超網(wǎng)絡(luò)，自動生成符合目標(biāo)條件的目標(biāo)語音分離子網(wǎng)絡(luò)，避免了手動調(diào)節(jié)網(wǎng)絡(luò)中不同網(wǎng)絡(luò)層的結(jié)構(gòu)參數(shù)，提高了語音分離網(wǎng)絡(luò)的生成效率。

技術(shù)領(lǐng)域

本公開涉及語音處理技術(shù)領(lǐng)域，尤其涉及一種語音分離網(wǎng)絡(luò)生成方法、裝置、電子設(shè)備以及存儲介質(zhì)。

背景技術(shù)

語音分離技術(shù)作為一種能夠?qū)碜圆煌曉吹幕旌弦纛l信號進(jìn)行分離的語音處理技術(shù)，在語音識別、音樂信息檢索以及關(guān)鍵字定位等方面起到十分重要的作用。

相關(guān)技術(shù)中，往往基于收集到的樣本音頻信號，對人工設(shè)計(jì)的語音分離網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練好的語音分離網(wǎng)絡(luò)，以實(shí)現(xiàn)語音分離功能。

然而，人工設(shè)計(jì)語音分離網(wǎng)絡(luò)時，往往需要手動調(diào)節(jié)網(wǎng)絡(luò)中不同網(wǎng)絡(luò)層的結(jié)構(gòu)參數(shù)，這一過程依賴于開發(fā)人員的專業(yè)知識和大量的實(shí)驗(yàn)資源，導(dǎo)致語音分離網(wǎng)絡(luò)的生成過程耗時耗力且效率低下。

發(fā)明內(nèi)容

本公開提供一種語音分離網(wǎng)絡(luò)生成方法、裝置、電子設(shè)備以及存儲介質(zhì)，能夠提高語音分離網(wǎng)絡(luò)的生成效率。本公開的技術(shù)方案如下：

根據(jù)本公開實(shí)施例的第一方面，提供一種語音分離網(wǎng)絡(luò)生成方法，該方法包括：

獲取語音分離超網(wǎng)絡(luò)，該語音分離超網(wǎng)絡(luò)包括編碼器和解碼器，該編碼器和該解碼器均包括多個網(wǎng)絡(luò)層和搜索空間，該搜索空間配置有該多個網(wǎng)絡(luò)層的結(jié)構(gòu)參數(shù)，該結(jié)構(gòu)參數(shù)包括下述至少一項(xiàng)：網(wǎng)絡(luò)層的個數(shù)、網(wǎng)絡(luò)層的多頭自注意力機(jī)制模塊中自注意力頭的個數(shù)、網(wǎng)絡(luò)層的前向感知模塊中隱藏層的神經(jīng)元個數(shù)；

基于多個樣本音頻信號，迭代訓(xùn)練該語音分離超網(wǎng)絡(luò)，其中，在第i次迭代過程中，基于該編碼器和該解碼器對應(yīng)的搜索空間，確定該語音分離超網(wǎng)絡(luò)在本次迭代過程中的多個語音分離子網(wǎng)絡(luò)，該多個語音分離子網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù)是基于多種不同的結(jié)構(gòu)參數(shù)組合方式從該編碼器和該解碼器對應(yīng)的搜索空間中確定的，基于該多個語音分離子網(wǎng)絡(luò)和本次迭代過程中輸入的樣本音頻信號，獲取本次迭代過程中輸入的樣本音頻信號的語音分離結(jié)果，基于該語音分離結(jié)果和標(biāo)注音頻信號，確定該語音分離超網(wǎng)絡(luò)的損失值，基于該損失值，更新該語音分離超網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，i為正整數(shù)；

基于訓(xùn)練后的該語音分離超網(wǎng)絡(luò)，生成符合目標(biāo)條件的目標(biāo)語音分離子網(wǎng)絡(luò)。

通過上述方法，在給定多個樣本音頻信號的基礎(chǔ)上，迭代訓(xùn)練獲取到的語音分離超網(wǎng)絡(luò)，其中，該語音分離超網(wǎng)絡(luò)包括編碼器和解碼器，編碼器和解碼器均包括多個網(wǎng)絡(luò)層和搜索空間，該搜索空間配置有多個網(wǎng)絡(luò)層的結(jié)構(gòu)參數(shù)。進(jìn)一步地，基于訓(xùn)練后的該語音分離超網(wǎng)絡(luò)，生成符合目標(biāo)條件的目標(biāo)語音分離子網(wǎng)絡(luò)。在上述過程中，通過設(shè)計(jì)一種配置有結(jié)構(gòu)參數(shù)的搜索空間，實(shí)現(xiàn)了基于語音分離超網(wǎng)絡(luò)，自動生成符合目標(biāo)條件的目標(biāo)語音分離子網(wǎng)絡(luò)，避免了手動調(diào)節(jié)網(wǎng)絡(luò)中不同網(wǎng)絡(luò)層的結(jié)構(gòu)參數(shù)，提高了語音分離網(wǎng)絡(luò)的生成效率，實(shí)現(xiàn)了網(wǎng)絡(luò)輕量化和泛化性的平衡。

在一些實(shí)施例中，該方法還包括：

從該多個樣本音頻信號中確定多組樣本音頻信號，每組樣本音頻信號包括至少一個樣本音頻信號；

該基于該多個語音分離子網(wǎng)絡(luò)和本次迭代過程中輸入的樣本音頻信號，獲取本次迭代過程中輸入的樣本音頻信號的語音分離結(jié)果，包括：

將各組樣本音頻信號按照各個語音分離子網(wǎng)絡(luò)對應(yīng)的傳播路徑在該語音分離超網(wǎng)絡(luò)中進(jìn)行前向傳播，得到各組樣本音頻信號的語音分離結(jié)果，其中，一組樣本音頻信號對應(yīng)一個語音分離子網(wǎng)絡(luò)。