[發(fā)明專(zhuān)利]一種基于DNN-CLSTM網(wǎng)絡(luò)的語(yǔ)音增強(qiáng)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011323987.2
• 申請(qǐng)日: 2020-11-23
• 公開(kāi)（公告）號(hào): CN112735456A
• 公開(kāi)（公告）日: 2021-04-30
• 發(fā)明（設(shè)計(jì)）人: 汪友明;張?zhí)扃?/a>
• 申請(qǐng)（專(zhuān)利權(quán)）人: 西安郵電大學(xué)
• 主分類(lèi)號(hào): G10L21/0208
• 分類(lèi)號(hào): G10L21/0208;G10L21/0216;G10L25/24;G10L25/30
• 代理公司: 西安佳士成專(zhuān)利代理事務(wù)所合伙企業(yè)(普通合伙) 61243
• 代理人: 李丹

本發(fā)明是一種基于深度神經(jīng)網(wǎng)絡(luò)和殘差長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(DNN?CLSTM)的語(yǔ)音增強(qiáng)方法。此方法將譜減法獲取的語(yǔ)音幅值特征和快速傅里葉變換獲取的語(yǔ)音梅爾倒譜系數(shù)(MFCC)特征輸入至DNN?CLSTM網(wǎng)絡(luò)模型，實(shí)現(xiàn)語(yǔ)音增強(qiáng)的目的。首先，對(duì)含噪語(yǔ)音進(jìn)行時(shí)頻掩蔽和加窗分幀處理，利用快速傅里葉變換獲取含噪語(yǔ)音的幅值和相位特征，并估計(jì)出含噪語(yǔ)音的噪聲幅值；然后，用含噪語(yǔ)音幅值減去估計(jì)的噪聲信號(hào)幅值，得到譜減后的語(yǔ)音信號(hào)幅值作為神經(jīng)網(wǎng)絡(luò)輸入的第一特征。其次，對(duì)含噪語(yǔ)音進(jìn)行快速傅里葉變換(FFT)，求取語(yǔ)音信號(hào)的譜線能量進(jìn)而得到含噪語(yǔ)音的MFCC特征作為語(yǔ)音信號(hào)的第二特征。將上述二種特征輸入至DNN?CLSTM網(wǎng)絡(luò)中進(jìn)行訓(xùn)練得到網(wǎng)絡(luò)模型，并采取最小均方誤差(MMSE)損失函數(shù)評(píng)價(jià)指標(biāo)評(píng)估模型有效性。最后，將實(shí)際含噪語(yǔ)音集輸入至完成訓(xùn)練的語(yǔ)音增強(qiáng)網(wǎng)絡(luò)模型中，預(yù)測(cè)出增強(qiáng)后的估計(jì)幅值和MFCC，采用逆傅立葉變換得到最終的增強(qiáng)語(yǔ)音信號(hào)。本發(fā)明具有語(yǔ)音的高保真性。

技術(shù)領(lǐng)域

本發(fā)明屬于語(yǔ)音增強(qiáng)技術(shù)領(lǐng)域，具體涉及一種基于DNN-CLSTM網(wǎng)絡(luò)的語(yǔ)音增強(qiáng)方法。

背景技術(shù)

語(yǔ)音作為信息傳輸?shù)闹饕绞街?，在生活中得到了大量的?yīng)用，隨著技術(shù)的發(fā)展，語(yǔ)音不僅在人與人交流之間起到了信息傳遞的作用，在人機(jī)交互中也大量運(yùn)用到了語(yǔ)音信號(hào)。然而在我們的通信過(guò)程中，語(yǔ)音信號(hào)往往都伴隨著大量的噪聲信號(hào)，如工廠噪聲、汽車(chē)噪聲或者餐廳的嘈雜聲等背景噪聲。包含了大量噪聲的語(yǔ)音信號(hào)會(huì)使得接收方在對(duì)語(yǔ)音信號(hào)中包含的有用信息進(jìn)行提取時(shí)產(chǎn)生大量的干擾。針對(duì)這一問(wèn)題，語(yǔ)音信號(hào)增強(qiáng)技術(shù)得到了廣泛關(guān)注。

語(yǔ)音增強(qiáng)是指現(xiàn)實(shí)中的語(yǔ)音被噪聲干擾時(shí)，將噪聲和語(yǔ)音信號(hào)分離的過(guò)程。語(yǔ)音增強(qiáng)技術(shù)現(xiàn)已經(jīng)得到了廣泛的運(yùn)用，如移動(dòng)通信領(lǐng)域、語(yǔ)音識(shí)別領(lǐng)域等諸多領(lǐng)域。語(yǔ)音增強(qiáng)技術(shù)的主要目的是為了提高語(yǔ)音質(zhì)量以及語(yǔ)音可懂度。目前，語(yǔ)音增強(qiáng)方法主要分為譜減法、子空間算法以及基于統(tǒng)計(jì)模型的算法三種。隨著深度學(xué)習(xí)的發(fā)展，神經(jīng)網(wǎng)絡(luò)已經(jīng)被應(yīng)用到了語(yǔ)音增強(qiáng)領(lǐng)域。

圖1所示的譜減法是語(yǔ)音增強(qiáng)技術(shù)中最早去噪技術(shù)之一。譜減法去噪基于以下原理：假設(shè)噪聲是加性噪聲，即y(m)＝x(m)+n(m)，其中y(m)是包含噪聲的信號(hào)，x(m)是純凈的語(yǔ)音信號(hào)，n(m)是加性噪聲；通過(guò)從包含噪聲的語(yǔ)音信號(hào)中減去對(duì)噪聲譜的估計(jì)，就可以得到純凈的語(yǔ)音信號(hào)。這一假設(shè)的前提條件是噪聲信號(hào)是平穩(wěn)的，使得在不存在目標(biāo)信號(hào)的語(yǔ)音段間，可以對(duì)噪聲信號(hào)進(jìn)行估計(jì)并且進(jìn)行更新。

譜減法是一種相對(duì)簡(jiǎn)單的語(yǔ)音增強(qiáng)算法，其原理是從輸入的混合語(yǔ)音信號(hào)的幅度譜值減去估計(jì)的噪聲幅度譜值，利用人耳對(duì)相位的不靈敏性，把譜減前的相位角信息直接用到譜減后的信息中來(lái)合成最終譜減后的語(yǔ)音信號(hào)。由于譜減法只包含一次傅里葉變化和傅里葉逆變化，因此它的計(jì)算量較小，并且易于實(shí)現(xiàn)。但現(xiàn)實(shí)中許多噪聲是不平穩(wěn)的信號(hào)，因此使用譜減法對(duì)語(yǔ)音信號(hào)進(jìn)行增強(qiáng)后，增強(qiáng)后的語(yǔ)音信號(hào)往往存在著大量的音樂(lè)噪聲，從而導(dǎo)致語(yǔ)音信號(hào)失真，使得信號(hào)的可懂度與語(yǔ)音質(zhì)量較差。

發(fā)明內(nèi)容

本發(fā)明的目的是解決基于譜減法的語(yǔ)音增強(qiáng)過(guò)程中存在的語(yǔ)音信號(hào)失真、信號(hào)的可懂度與語(yǔ)音質(zhì)量較差等問(wèn)題。為達(dá)上述目的，本發(fā)明提供了一種基于DNN-CLSTM網(wǎng)絡(luò)的語(yǔ)音增強(qiáng)方法，其特征在于，包括以下步驟：

步驟一：獲取至少兩路含噪語(yǔ)音信號(hào)，含噪語(yǔ)音信號(hào)由純凈語(yǔ)音信號(hào)和噪聲信號(hào)相加而成：

y(m)＝x(m)+n(m)

其中，y(m)是包含噪聲的含噪語(yǔ)音信號(hào)，x(m)是純凈語(yǔ)音信號(hào)，n(m)是噪聲信號(hào)，m為離散時(shí)間序列；

步驟二：分幀加窗，獲取純凈語(yǔ)音信號(hào)以及含噪語(yǔ)音信號(hào)的幅值和相位作為第一特征：對(duì)含噪語(yǔ)音信號(hào)進(jìn)行加窗分幀處理，并且使用離散傅里葉變化得到含噪語(yǔ)音信號(hào)的幅值以及相位；同時(shí)，在不含目標(biāo)信號(hào)并且只含有噪聲的語(yǔ)音信號(hào)段，對(duì)噪聲進(jìn)行估計(jì)，求出噪聲信號(hào)幅值；

步驟三、用含噪語(yǔ)音信號(hào)的幅值減去所述噪聲信號(hào)幅值，從而得到譜減語(yǔ)音信號(hào)幅值作為第二特征；