[發(fā)明專利]無(wú)監(jiān)督學(xué)習(xí)的語(yǔ)音增強(qiáng)模型的訓(xùn)練方法、系統(tǒng)和電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202310072257.7
• 申請(qǐng)日: 2023-01-20
• 公開(kāi)（公告）號(hào): CN116129925A
• 公開(kāi)（公告）日: 2023-05-16
• 發(fā)明（設(shè)計(jì)）人: 俞凱;江文斌;張一帆
• 申請(qǐng)（專利權(quán)）人: 思必馳科技股份有限公司
• 主分類(lèi)號(hào): G10L21/0208
• 分類(lèi)號(hào): G10L21/0208;G10L21/0232;G10L25/45;G10L25/30;G10L25/18
• 代理公司: 北京商專永信知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11400
• 代理人: 黃謙;侯曉艷

1.一種無(wú)監(jiān)督學(xué)習(xí)的語(yǔ)音增強(qiáng)模型的訓(xùn)練方法，包括：

將訓(xùn)練數(shù)據(jù)集輸入至由降噪語(yǔ)音生成器以及判別器構(gòu)建的基于對(duì)抗生成網(wǎng)絡(luò)的語(yǔ)音增強(qiáng)模型，其中，所述訓(xùn)練數(shù)據(jù)集包括非配對(duì)的帶噪語(yǔ)音與干凈語(yǔ)音；

將所述帶噪語(yǔ)音輸入至所述降噪語(yǔ)音生成器，輸出降噪語(yǔ)音，基于所述帶噪語(yǔ)音以及所述降噪語(yǔ)音確定降噪損失；

將所述降噪語(yǔ)音以及非配對(duì)的所述干凈語(yǔ)音輸入至所述判別器，基于最優(yōu)傳輸確定出對(duì)抗損失；

基于所述降噪損失、所述對(duì)抗損失分別對(duì)所述降噪語(yǔ)音生成器以及所述判別器進(jìn)行無(wú)監(jiān)督學(xué)習(xí)訓(xùn)練，得到無(wú)監(jiān)督學(xué)習(xí)的語(yǔ)音增強(qiáng)模型。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述對(duì)抗損失包括：用于訓(xùn)練降噪語(yǔ)音生成器的第一對(duì)抗損失以及用于訓(xùn)練判別器的第二對(duì)抗損失；

所述基于所述降噪損失、所述對(duì)抗損失分別對(duì)所述降噪語(yǔ)音生成器以及所述判別器進(jìn)行無(wú)監(jiān)督學(xué)習(xí)訓(xùn)練包括：

基于所述降噪損失以及所述第一對(duì)抗損失對(duì)所述降噪語(yǔ)音生成器進(jìn)行無(wú)監(jiān)督學(xué)習(xí)訓(xùn)練；

基于所述第二對(duì)抗損失以及預(yù)設(shè)梯度懲罰損失對(duì)所述判別器進(jìn)行無(wú)監(jiān)督學(xué)習(xí)訓(xùn)練，直至所述對(duì)抗損失達(dá)到預(yù)設(shè)要求時(shí)為止。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述降噪語(yǔ)音生成器由編碼器以及解碼器構(gòu)成，其中，

所述編碼器包括多個(gè)卷積塊，所述解碼器包括多個(gè)反卷積塊；

所述卷積塊與所述反卷積塊之間由卷積塊注意力塊連接，其中，所述卷積塊注意力塊由通道注意力塊和頻率注意力塊組成；

所述編碼器與所述解碼器之間由包含在頻域建模的長(zhǎng)期短時(shí)記憶層以及在時(shí)域建模的長(zhǎng)期短時(shí)記憶層的雙路塊連接。

4.根據(jù)權(quán)利要求1所述的方法，其中，所述判別器由多個(gè)卷積塊以及多個(gè)線性層構(gòu)成，其中，

所述判別器內(nèi)卷積塊的數(shù)量與所述降噪語(yǔ)音生成器內(nèi)編碼器中的卷積塊的數(shù)量相同；

所述多個(gè)線性層之間包括LeakyRelu激活層，且所述多個(gè)線性層由普歸一化限制。

5.根據(jù)權(quán)利要求1所述的方法，其中，在所述將訓(xùn)練數(shù)據(jù)集輸入至由降噪語(yǔ)音生成器以及判別器構(gòu)建的基于對(duì)抗生成網(wǎng)絡(luò)的語(yǔ)音增強(qiáng)模型之前，所述方法還包括：

對(duì)所述訓(xùn)練數(shù)據(jù)集進(jìn)行加窗、分幀以及短時(shí)傅里葉變換的預(yù)處理。

6.一種無(wú)監(jiān)督學(xué)習(xí)的語(yǔ)音增強(qiáng)模型的訓(xùn)練系統(tǒng)，包括：

數(shù)據(jù)輸入程序模塊，用于將訓(xùn)練數(shù)據(jù)集輸入至由降噪語(yǔ)音生成器以及判別器構(gòu)建的基于對(duì)抗生成網(wǎng)絡(luò)的語(yǔ)音增強(qiáng)模型，其中，所述訓(xùn)練數(shù)據(jù)集包括非配對(duì)的帶噪語(yǔ)音與干凈語(yǔ)音；

語(yǔ)音降噪程序模塊，用于將所述帶噪語(yǔ)音輸入至所述降噪語(yǔ)音生成器，輸出降噪語(yǔ)音，基于所述帶噪語(yǔ)音以及所述降噪語(yǔ)音確定降噪損失；

對(duì)抗判別程序模塊，用于將所述降噪語(yǔ)音以及非配對(duì)的所述干凈語(yǔ)音輸入至所述判別器，基于最優(yōu)傳輸確定出對(duì)抗損失；

無(wú)監(jiān)督訓(xùn)練程序模塊，用于基于所述降噪損失、所述對(duì)抗損失分別對(duì)所述降噪語(yǔ)音生成器以及所述判別器進(jìn)行無(wú)監(jiān)督學(xué)習(xí)訓(xùn)練，得到無(wú)監(jiān)督學(xué)習(xí)的語(yǔ)音增強(qiáng)模型。

7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其中，所述對(duì)抗損失包括：用于訓(xùn)練降噪語(yǔ)音生成器的第一對(duì)抗損失以及用于訓(xùn)練判別器的第二對(duì)抗損失；

所述無(wú)監(jiān)督訓(xùn)練程序模塊用于：

基于所述降噪損失以及所述第一對(duì)抗損失對(duì)所述降噪語(yǔ)音生成器進(jìn)行無(wú)監(jiān)督學(xué)習(xí)訓(xùn)練；

基于所述第二對(duì)抗損失以及預(yù)設(shè)梯度懲罰損失對(duì)所述判別器進(jìn)行無(wú)監(jiān)督學(xué)習(xí)訓(xùn)練，直至所述對(duì)抗損失達(dá)到預(yù)設(shè)要求時(shí)為止。

8.根據(jù)權(quán)利要求6所述的系統(tǒng)，其中，所述降噪語(yǔ)音生成器由編碼器以及解碼器構(gòu)成，其中，

所述編碼器包括多個(gè)卷積塊，所述解碼器包括多個(gè)反卷積塊；

所述卷積塊與所述反卷積塊之間由卷積塊注意力塊連接，其中，所述卷積塊注意力塊由通道注意力塊和頻率注意力塊組成；

所述編碼器與所述解碼器之間由包含在頻域建模的長(zhǎng)期短時(shí)記憶層以及在時(shí)域建模的長(zhǎng)期短時(shí)記憶層的雙路塊連接。