[發(fā)明專(zhuān)利]語(yǔ)音降噪方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201811584024.0
• 申請(qǐng)日: 2018-12-24
• 公開(kāi)（公告）號(hào): CN109584895B
• 公開(kāi)（公告）日: 2019-10-25
• 發(fā)明（設(shè)計(jì)）人: 聶鐳;沙露露;鄭權(quán);張峰;聶穎
• 申請(qǐng)（專(zhuān)利權(quán)）人: 龍馬智芯（珠海橫琴）科技有限公司
• 主分類(lèi)號(hào): G10L21/02
• 分類(lèi)號(hào): G10L21/02;G10L25/27
• 代理公司: 北京康信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 趙囡囡;董文倩

1.一種語(yǔ)音降噪方法，其特征在于，包括：

將目標(biāo)帶噪語(yǔ)音信號(hào)按照預(yù)定格式中的采樣頻率進(jìn)行采樣，得到所述目標(biāo)帶噪語(yǔ)音信號(hào)的采樣點(diǎn)一；

通過(guò)語(yǔ)音增強(qiáng)模型，確定與所述目標(biāo)帶噪語(yǔ)音信號(hào)的采樣點(diǎn)一對(duì)應(yīng)的目標(biāo)去噪語(yǔ)音信號(hào)的采樣點(diǎn)二，其中，所述語(yǔ)音增強(qiáng)模型為使用多組訓(xùn)練數(shù)據(jù)通過(guò)機(jī)器學(xué)習(xí)訓(xùn)練得到的，所述多組訓(xùn)練數(shù)據(jù)中的每組訓(xùn)練數(shù)據(jù)均包括：帶噪語(yǔ)音信號(hào)的采樣點(diǎn)和與所述帶噪語(yǔ)音信號(hào)的采樣點(diǎn)對(duì)應(yīng)的去噪語(yǔ)音信號(hào)的采樣點(diǎn)；

將所述目標(biāo)去噪語(yǔ)音信號(hào)的采樣點(diǎn)二轉(zhuǎn)換目標(biāo)語(yǔ)音的去噪語(yǔ)音；

其中，在通過(guò)語(yǔ)音增強(qiáng)模型，確定與所述目標(biāo)帶噪語(yǔ)音信號(hào)的采樣點(diǎn)一對(duì)應(yīng)的目標(biāo)去噪語(yǔ)音信號(hào)的采樣點(diǎn)二之前，還包括：基于所述多組訓(xùn)練數(shù)據(jù)訓(xùn)練得到所述語(yǔ)音增強(qiáng)模型；

其中，基于所述多組訓(xùn)練數(shù)據(jù)訓(xùn)練得到所述語(yǔ)音增強(qiáng)模型包括：

將所述多組訓(xùn)練數(shù)據(jù)中的每組訓(xùn)練數(shù)據(jù)對(duì)應(yīng)的原始帶噪語(yǔ)音信號(hào)的采樣點(diǎn)依次作為wavenet網(wǎng)絡(luò)模型的輸入；

獲取所述wavenet網(wǎng)絡(luò)模型的輸出；

將所述wavenet網(wǎng)絡(luò)模型的輸出作為預(yù)定格式的卷積層的輸入；

對(duì)輸入到所述預(yù)定格式的卷積層的所述wavenet網(wǎng)絡(luò)模型的輸出進(jìn)行平滑處理，得到所述預(yù)定格式的卷積層的輸出；

確定所述多組訓(xùn)練數(shù)據(jù)中的每組訓(xùn)練數(shù)據(jù)對(duì)應(yīng)的與所述帶噪語(yǔ)音信號(hào)的采樣點(diǎn)對(duì)應(yīng)的去噪語(yǔ)音信號(hào)的采樣點(diǎn)和所述預(yù)定格式的卷積層的輸出之間的偏差量；

利用所述偏差量對(duì)所述wavenet網(wǎng)絡(luò)模型進(jìn)行調(diào)整，得到所述語(yǔ)音增強(qiáng)模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述訓(xùn)練數(shù)據(jù)為從帶噪語(yǔ)音數(shù)據(jù)集中選取出來(lái)的部分?jǐn)?shù)據(jù)，其中，所述帶噪語(yǔ)音數(shù)據(jù)集包括預(yù)定數(shù)量的由預(yù)定干凈語(yǔ)音與預(yù)定背景噪聲進(jìn)行疊加得到的帶噪語(yǔ)音。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述預(yù)定干凈語(yǔ)音為從TIMIT語(yǔ)音數(shù)據(jù)集中選取的語(yǔ)音，所述預(yù)定背景噪聲包括：加性噪聲和從Aurora2數(shù)據(jù)集中選取的噪聲。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述帶噪語(yǔ)音數(shù)據(jù)集中除所述部分?jǐn)?shù)據(jù)外的另外一部分?jǐn)?shù)據(jù)作為驗(yàn)證數(shù)據(jù)，其中，所述驗(yàn)證數(shù)據(jù)用于對(duì)所述語(yǔ)音增強(qiáng)模型進(jìn)行測(cè)試。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，在將所述多組訓(xùn)練數(shù)據(jù)中的每組訓(xùn)練數(shù)據(jù)對(duì)應(yīng)的原始帶噪語(yǔ)音信號(hào)的采樣點(diǎn)依次作為wavenet網(wǎng)絡(luò)模型的輸入之前，還包括：

按照所述多組訓(xùn)練數(shù)據(jù)中每組訓(xùn)練數(shù)據(jù)的采樣點(diǎn)的采樣順序?qū)λ龆嘟M訓(xùn)練數(shù)據(jù)進(jìn)行劃分，得到所述wavenet網(wǎng)絡(luò)模型的多個(gè)采樣點(diǎn)輸入，其中，所述多個(gè)采樣點(diǎn)輸入包括：第一采樣點(diǎn)、第二采樣點(diǎn)、第三采樣點(diǎn)、第四采樣點(diǎn)以及第五采樣點(diǎn)，所述第三采樣點(diǎn)為當(dāng)前輸入到所述wavenet網(wǎng)絡(luò)模型的采樣點(diǎn)，所述第二采樣點(diǎn)和所述第四采樣點(diǎn)分別為所述第三采樣點(diǎn)之前和所述第三采樣點(diǎn)之后的采樣點(diǎn)，所述第一采樣點(diǎn)為所述第二采樣點(diǎn)之前的采樣點(diǎn)，所述第五采樣點(diǎn)為所述第四采樣點(diǎn)之后的采樣點(diǎn)。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述第一采樣點(diǎn)為從所述第二采樣點(diǎn)之前的第一預(yù)定數(shù)量的采樣點(diǎn)中選取的第二預(yù)定數(shù)量的采樣點(diǎn)，所述第五采樣點(diǎn)分別為從所述第四采樣點(diǎn)之后的所述第一預(yù)定數(shù)量的采樣點(diǎn)中選取的所述第二預(yù)定數(shù)量的采樣點(diǎn)。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述第二采樣點(diǎn)，第三采樣點(diǎn)以及所述第四采樣點(diǎn)為連續(xù)的采樣點(diǎn)。

8.根據(jù)權(quán)利要求4所述的方法，其特征在于，在基于所述多組訓(xùn)練數(shù)據(jù)訓(xùn)練得到所述語(yǔ)音增強(qiáng)模型之后，還包括：利用所述驗(yàn)證數(shù)據(jù)對(duì)所述語(yǔ)音增強(qiáng)模型進(jìn)行測(cè)試。

9.一種語(yǔ)音降噪裝置，其特征在于，包括：

采樣單元，用于將目標(biāo)帶噪語(yǔ)音信號(hào)按照預(yù)定格式中的采樣頻率進(jìn)行采樣，得到所述目標(biāo)帶噪語(yǔ)音信號(hào)的采樣點(diǎn)一；

確定單元，用于通過(guò)語(yǔ)音增強(qiáng)模型，確定與所述目標(biāo)帶噪語(yǔ)音信號(hào)的采樣點(diǎn)一對(duì)應(yīng)的目標(biāo)去噪語(yǔ)音信號(hào)的采樣點(diǎn)二，其中，所述語(yǔ)音增強(qiáng)模型為使用多組訓(xùn)練數(shù)據(jù)通過(guò)機(jī)器學(xué)習(xí)訓(xùn)練得到的，所述多組訓(xùn)練數(shù)據(jù)中的每組訓(xùn)練數(shù)據(jù)均包括：帶噪語(yǔ)音信號(hào)的采樣點(diǎn)和與所述帶噪語(yǔ)音信號(hào)的采樣點(diǎn)對(duì)應(yīng)的去噪語(yǔ)音信號(hào)的采樣點(diǎn)；

轉(zhuǎn)換單元，用于將所述目標(biāo)去噪語(yǔ)音信號(hào)的采樣點(diǎn)二轉(zhuǎn)換目標(biāo)語(yǔ)音的去噪語(yǔ)音；

其中，所述語(yǔ)音降噪裝置還包括：訓(xùn)練單元，用于在通過(guò)語(yǔ)音增強(qiáng)模型，確定與所述目標(biāo)帶噪語(yǔ)音信號(hào)的采樣點(diǎn)一對(duì)應(yīng)的目標(biāo)去噪語(yǔ)音信號(hào)的采樣點(diǎn)二之前，基于所述多組訓(xùn)練數(shù)據(jù)訓(xùn)練得到所述語(yǔ)音增強(qiáng)模型；其中，所述訓(xùn)練單元包括：第一確定模塊，用于將所述多組訓(xùn)練數(shù)據(jù)中的每組訓(xùn)練數(shù)據(jù)對(duì)應(yīng)的原始帶噪語(yǔ)音信號(hào)的采樣點(diǎn)依次作為wavenet網(wǎng)絡(luò)模型的輸入；第一獲取模塊，用于獲取所述wavenet網(wǎng)絡(luò)模型的輸出；第二確定模塊，用于將所述wavenet網(wǎng)絡(luò)模型的輸出作為預(yù)定格式的卷積層的輸入；處理模塊，用于對(duì)輸入到所述預(yù)定格式的卷積層的所述wavenet網(wǎng)絡(luò)模型的輸出進(jìn)行平滑處理，得到所述預(yù)定格式的卷積層的輸出；第三確定模塊，用于確定所述多組訓(xùn)練數(shù)據(jù)中的每組訓(xùn)練數(shù)據(jù)對(duì)應(yīng)的與所述帶噪語(yǔ)音信號(hào)的采樣點(diǎn)對(duì)應(yīng)的去噪語(yǔ)音信號(hào)的采樣點(diǎn)和所述預(yù)定格式的卷積層的輸出之間的偏差量；第二獲取模塊，用于利用所述偏差量對(duì)所述wavenet網(wǎng)絡(luò)模型進(jìn)行調(diào)整，得到所述語(yǔ)音增強(qiáng)模型。