[發(fā)明專利]一種語(yǔ)音處理方法、裝置、介質(zhì)機(jī)計(jì)算機(jī)設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202110961456.4
• 申請(qǐng)日: 2021-08-20
• 公開（公告）號(hào): CN115910089A
• 公開（公告）日: 2023-04-04
• 發(fā)明（設(shè)計(jì)）人: 毛鑫
• 申請(qǐng)（專利權(quán)）人: 武漢斗魚網(wǎng)絡(luò)科技有限公司
• 主分類號(hào): G10L21/0216
• 分類號(hào): G10L21/0216;G10L25/30
• 代理公司: 北京眾達(dá)德權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11570
• 代理人: 姚萱萱

本發(fā)明提供一種語(yǔ)音處理方法、裝置、介質(zhì)機(jī)計(jì)算機(jī)設(shè)備，方法包括：對(duì)初始帶噪語(yǔ)音信號(hào)進(jìn)行卷積并激活，獲得第一帶噪語(yǔ)音信號(hào)；對(duì)第一帶噪語(yǔ)音信號(hào)進(jìn)行歸一化、卷積處理，獲得第二帶噪語(yǔ)音信號(hào)；利用多尺度卷積神經(jīng)網(wǎng)絡(luò)對(duì)第二帶噪語(yǔ)音信號(hào)進(jìn)行多尺度特征融合，獲得第三帶噪語(yǔ)音信號(hào)；對(duì)第一帶噪語(yǔ)音信號(hào)及第三帶噪語(yǔ)音信號(hào)進(jìn)行疊加，獲得第四帶噪語(yǔ)音信號(hào)；對(duì)第四帶噪語(yǔ)音信號(hào)進(jìn)行處理，獲得噪聲高維嵌入向量及降噪高維嵌入向量；對(duì)噪聲高維嵌入向量及降噪高維嵌入向量進(jìn)行處理，獲得分離噪聲及分離語(yǔ)音；如此，對(duì)第二帶噪語(yǔ)音信號(hào)進(jìn)行多尺度特征融合，因此可增大卷積神經(jīng)網(wǎng)絡(luò)的感受野，進(jìn)而提高卷積神經(jīng)網(wǎng)絡(luò)的語(yǔ)音增強(qiáng)性能，確保語(yǔ)音降噪性能。

技術(shù)領(lǐng)域

本發(fā)明涉及語(yǔ)音增強(qiáng)技術(shù)領(lǐng)域，尤其涉及一種語(yǔ)音處理方法、裝置、介質(zhì)機(jī)計(jì)算機(jī)設(shè)備。

背景技術(shù)

隨著計(jì)算機(jī)和互聯(lián)網(wǎng)技術(shù)的發(fā)展，語(yǔ)音識(shí)別技術(shù)取得了顯著的進(jìn)步，開始從科研機(jī)構(gòu)研究逐步走向市場(chǎng)，廣泛應(yīng)用于工業(yè)、直播、通信、家庭服務(wù)、醫(yī)療等各個(gè)領(lǐng)域。

因在實(shí)際環(huán)境中，存在很多噪聲環(huán)境，為解決噪聲污染問題，提高語(yǔ)音可懂度和語(yǔ)音識(shí)別率，現(xiàn)有技術(shù)一般利用雙通道麥克風(fēng)陣列，采集目標(biāo)聲源信號(hào)并提高語(yǔ)音識(shí)別能力。但是該方式降噪性能受聲源方向限制，對(duì)動(dòng)態(tài)噪聲降噪效果有限；并且硬件成本較高。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)存在的問題，本發(fā)明實(shí)施例提供了一種語(yǔ)音處理方法、裝置、介質(zhì)及計(jì)算機(jī)設(shè)備，用于解決現(xiàn)有技術(shù)中對(duì)語(yǔ)音進(jìn)行降噪時(shí)，硬件成本較高且降噪效果有限的技術(shù)問題。

第一方面，本發(fā)明提供一種語(yǔ)音處理方法，所述方法包括：

獲取初始帶噪語(yǔ)音信號(hào)，對(duì)所述初始帶噪語(yǔ)音信號(hào)進(jìn)行卷積并激活，獲得第一帶噪語(yǔ)音信號(hào)；

對(duì)所述第一帶噪語(yǔ)音信號(hào)進(jìn)行歸一化、卷積處理，獲得第二帶噪語(yǔ)音信號(hào)；

利用多尺度卷積神經(jīng)網(wǎng)絡(luò)對(duì)所述第二帶噪語(yǔ)音信號(hào)進(jìn)行多尺度特征融合，獲得第三帶噪語(yǔ)音信號(hào)；每個(gè)尺度特征融合對(duì)應(yīng)的擴(kuò)張因子不同；

對(duì)所述第一帶噪語(yǔ)音信號(hào)及所述第三帶噪語(yǔ)音信號(hào)進(jìn)行疊加，獲得第四帶噪語(yǔ)音信號(hào)；

對(duì)所述第四帶噪語(yǔ)音信號(hào)進(jìn)行處理，獲得噪聲高維嵌入向量及降噪高維嵌入向量；

對(duì)所述噪聲高維嵌入向量及降噪高維嵌入向量進(jìn)行處理，獲得分離噪聲及分離語(yǔ)音。

上述方案中，所述對(duì)所述第一帶噪語(yǔ)音信號(hào)進(jìn)行歸一化、卷積處理，獲得第二帶噪語(yǔ)音信號(hào)，包括：

利用公式對(duì)所述第一帶噪語(yǔ)音信號(hào)進(jìn)行歸一化處理，獲得歸一化帶噪語(yǔ)音信號(hào)output_k1；

對(duì)所述歸一化帶噪語(yǔ)音信號(hào)進(jìn)行1×1卷積，獲得所述第二帶噪語(yǔ)音信號(hào)；其中，

所述input_k1為所述第一帶噪語(yǔ)音信號(hào)的第k1幀信號(hào)；所述E(input_k1)為第k1幀信號(hào)輸入時(shí)，各幀信號(hào)的期望值；所述Var(input_k1)為第k1幀信號(hào)輸入時(shí)，各幀信號(hào)的方差；所述ε為常量，所述ε取值范圍為10^-8～10^-5；所述γ為第一訓(xùn)練參數(shù)，所述β為第二訓(xùn)練參數(shù)。

上述方案中，所述利用多尺度卷積神經(jīng)網(wǎng)絡(luò)對(duì)所述第二帶噪語(yǔ)音信號(hào)進(jìn)行多尺度特征融合，獲得第三帶噪語(yǔ)音信號(hào)，包括：

利用預(yù)設(shè)數(shù)量的卷積模塊分別對(duì)所述第二帶噪語(yǔ)音信號(hào)進(jìn)行1×1卷積，獲得相應(yīng)數(shù)量的第一卷積信號(hào)：

分別對(duì)各所述第一卷積信號(hào)進(jìn)行激活及歸一化處理，獲得相應(yīng)數(shù)量的歸一化信號(hào)；

基于深度分離擴(kuò)張因果卷積模塊對(duì)應(yīng)的擴(kuò)張因子，對(duì)各所述歸一化信號(hào)進(jìn)行一次深度分離擴(kuò)張因果卷積，獲得對(duì)應(yīng)的第二卷積信號(hào)；