[發(fā)明專利]復(fù)雜環(huán)境下基于深層神經(jīng)網(wǎng)絡(luò)的語(yǔ)音特征映射方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010635342.6
• 申請(qǐng)日: 2020-07-03
• 公開（公告）號(hào): CN111816187A
• 公開（公告）日: 2020-10-23
• 發(fā)明（設(shè)計(jì)）人: 劉劍豪;王亨佳;胡喬林;高坡;都興霖;楊華兵;王敏
• 申請(qǐng)（專利權(quán)）人: 中國(guó)人民解放軍空軍預(yù)警學(xué)院
• 主分類號(hào): G10L17/18
• 分類號(hào): G10L17/18;G10L17/02;G10L17/04;G10L17/20;G10L25/24;G06N3/04;G06N3/08
• 代理公司: 北京化育知識(shí)產(chǎn)權(quán)代理有限公司 11833
• 代理人: 尹均利

1.復(fù)雜環(huán)境下基于深層神經(jīng)網(wǎng)絡(luò)的語(yǔ)音特征映射方法，其特征在于，包括以下步驟：

步驟1：構(gòu)造大量干凈環(huán)境和復(fù)雜環(huán)境下的語(yǔ)音信號(hào)數(shù)據(jù)對(duì)；

步驟2：提取干凈環(huán)境下語(yǔ)音信號(hào)的特征；

步驟3：提取復(fù)雜環(huán)境下語(yǔ)音信號(hào)的特征；

步驟4：對(duì)DNN模型進(jìn)行訓(xùn)練；

步驟5：利用訓(xùn)練好的DNN模型對(duì)復(fù)雜環(huán)境下的語(yǔ)音特征進(jìn)行映射。

2.根據(jù)權(quán)利要求1所述的復(fù)雜環(huán)境下基于深層神經(jīng)網(wǎng)絡(luò)的語(yǔ)音特征映射方法，其特征在于，所述步驟1的具體實(shí)現(xiàn)：

基于DNN的特征映射方法是一個(gè)有監(jiān)督的訓(xùn)練模型，需要大量的平行語(yǔ)料，而且還需要大量復(fù)雜環(huán)境下語(yǔ)音和干凈環(huán)境下語(yǔ)音的數(shù)據(jù)對(duì)，才能使得DNN模型具有較好地泛化能力，一般情況下影響說(shuō)話人識(shí)別率的主要因素是環(huán)境噪聲和信道差異，其中環(huán)境噪聲中加性噪聲對(duì)識(shí)別率影響最大，因此依據(jù)復(fù)雜環(huán)境模型構(gòu)造了大量平行語(yǔ)料，復(fù)雜模型如式所示：

S＝f(X₁,X₂,w)+αN

其中α是一個(gè)調(diào)節(jié)因子，用來(lái)控制信噪比；X表示干凈環(huán)境下采集的語(yǔ)音信號(hào)；N表示噪聲信號(hào)；w是信道傳輸參數(shù)；通過(guò)這個(gè)模型就可以構(gòu)造出海量多信噪比、多種噪聲類型、不同信道傳輸?shù)膹?fù)雜環(huán)境的語(yǔ)音數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的復(fù)雜環(huán)境下基于深層神經(jīng)網(wǎng)絡(luò)的語(yǔ)音特征映射方法，其特征在于，所述步驟2的具體實(shí)現(xiàn)包括以下步驟：

步驟2.1：對(duì)干凈環(huán)境下的語(yǔ)音信號(hào)進(jìn)行預(yù)處理，包括采樣、量化、預(yù)加重、端點(diǎn)檢測(cè)、分幀和加窗；

步驟2.2：將步驟2.1預(yù)處理后的信號(hào)提取梅爾倒譜系數(shù)(MFCC)。

4.根據(jù)權(quán)利要求1所述的復(fù)雜環(huán)境下基于深層神經(jīng)網(wǎng)絡(luò)的語(yǔ)音特征映射方法，其特征在于，所述步驟3的具體實(shí)現(xiàn)包括以下步驟：

步驟3.1：對(duì)復(fù)雜環(huán)境下的語(yǔ)音信號(hào)進(jìn)行預(yù)處理，包括采樣、量化、預(yù)加重、端點(diǎn)檢測(cè)、分幀和加窗；

步驟3.2：對(duì)步驟3.1預(yù)處理后的信號(hào)提取MFCC特征。

5.根據(jù)權(quán)利要求1所述的復(fù)雜環(huán)境下基于深層神經(jīng)網(wǎng)絡(luò)的語(yǔ)音特征映射方法，其特征在于，所述步驟4的具體實(shí)現(xiàn)包括以下步驟：

步驟4.1：利用復(fù)雜環(huán)境下的語(yǔ)音特征參數(shù)嘗試訓(xùn)練一個(gè)基于受限玻爾茲曼機(jī)的初始化模型；

步驟4.2：采用干凈環(huán)境下的語(yǔ)音與復(fù)雜環(huán)境下語(yǔ)音的特征之間的最小均方誤差準(zhǔn)則的反向錯(cuò)誤傳播算法用來(lái)更新整個(gè)DNN的參數(shù)。

6.根據(jù)權(quán)利要求1-5所述的復(fù)雜環(huán)境下基于深層神經(jīng)網(wǎng)絡(luò)的語(yǔ)音特征映射方法，其特征在于，所述步驟5包括以下步驟：

步驟5.1：特征映射模型為：

其中c_i為復(fù)雜環(huán)境下語(yǔ)音信號(hào)的特征；w₁...w_j是DNN模型參數(shù)，f(w₁,…,w_j)是非線性函數(shù)；μ_i是擾動(dòng)項(xiàng)；為通過(guò)特征映射后得到的特征；

步驟5.2：將從步驟4.2估計(jì)得到的參數(shù)帶入到特征映射參數(shù)掩蔽矩陣中求得復(fù)雜環(huán)境下的語(yǔ)音經(jīng)過(guò)特征映射模型運(yùn)算后得到的語(yǔ)音特征，此時(shí)的特征即可近似視為干凈環(huán)境下的語(yǔ)音特征。