[發(fā)明專利]一種跳變連接深度神經(jīng)網(wǎng)絡(luò)的語(yǔ)音增強(qiáng)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010012435.3
• 申請(qǐng)日: 2020-01-07
• 公開(kāi)（公告）號(hào): CN111192598A
• 公開(kāi)（公告）日: 2020-05-22
• 發(fā)明（設(shè)計(jì)）人: 蘭朝鳳;劉春東;蘇崎木;郭思誠(chéng);陳小艷
• 申請(qǐng)（專利權(quán)）人: 哈爾濱理工大學(xué)
• 主分類號(hào): G10L21/0208
• 分類號(hào): G10L21/0208;G10L25/30;G10L25/03;G10L25/24;G10L25/18;G06N3/04;G06N3/08
• 代理公司: 哈爾濱市文洋專利代理事務(wù)所(普通合伙) 23210
• 代理人: 何強(qiáng)

1.一種跳變連接深度神經(jīng)網(wǎng)絡(luò)的語(yǔ)音增強(qiáng)方法，其特征在于，所述方法包括：

S1、根據(jù)時(shí)域語(yǔ)音信號(hào)，提取時(shí)頻域特征；

S2、確定訓(xùn)練目標(biāo)，并將訓(xùn)練目標(biāo)和提取的時(shí)頻域特征送入到Skip-DNN模型中，進(jìn)行訓(xùn)練，得到Skip-DNN語(yǔ)音增強(qiáng)模型；

所述Skip-DNN模型包括輸入層、隱藏層和輸出層，輸入層、隱藏層和輸出層之間采用跳變連接；第一模塊包括兩個(gè)隱藏層，第二個(gè)隱藏層節(jié)點(diǎn)數(shù)與輸入層的節(jié)點(diǎn)數(shù)相同；

第二模塊、第三模塊與第一模塊結(jié)構(gòu)相同，第四模塊僅有一層隱藏層，該隱藏層的節(jié)點(diǎn)數(shù)與輸入層的節(jié)點(diǎn)數(shù)相同；

S3、提取帶噪語(yǔ)音特征，將其輸入到Skip-DNN語(yǔ)音增強(qiáng)模型中，估計(jì)目標(biāo)語(yǔ)音；

S4、將目標(biāo)語(yǔ)音與帶噪語(yǔ)音合成，得到增強(qiáng)的純凈語(yǔ)音信號(hào)。

2.根據(jù)權(quán)利要求1所述的語(yǔ)音增強(qiáng)方法，其特征在于，所述第一模塊至第三模塊均還包括丟棄算法Dropout層，在第一模塊中Dropout層設(shè)置在兩個(gè)隱藏層之間，Dropout層在Skip-DNN模型的前向傳播過(guò)程中按照比例讓隱藏層的節(jié)點(diǎn)值為0。

3.根據(jù)權(quán)利要求1或2所述的語(yǔ)音增強(qiáng)方法，其特征在于，所述S1和S3中提取的特征為耳蝸圖。

4.根據(jù)權(quán)利要求2所述的語(yǔ)音增強(qiáng)方法，其特征在于，所述第一模塊的第一個(gè)隱藏層獲得的估計(jì)值為a⁽¹⁾：

其中，n表示第一個(gè)隱藏層節(jié)點(diǎn)數(shù)，m表示輸入的節(jié)點(diǎn)數(shù)，max(x,0)表示非線性激活函數(shù)ReLU，[y₁,…,y_m]表示輸入m維的帶噪語(yǔ)音信號(hào)，為第一個(gè)隱藏層的權(quán)重，[b₁,…,b_n]為第一個(gè)隱藏層的偏置；

所述第一模塊的第二個(gè)隱藏層獲得的估計(jì)值為a⁽²⁾：

其中，為第二個(gè)隱藏層的權(quán)重，[b₁,…,b_n]為第二個(gè)隱藏層的偏置；

第一模塊輸出的估計(jì)值為：

。

5.根據(jù)權(quán)利要求2所述的語(yǔ)音增強(qiáng)方法，其特征在于，所述S2中，訓(xùn)練目標(biāo)為時(shí)頻掩蔽IRM，IRM∈[0,1]，表示純凈語(yǔ)音能量在混合語(yǔ)音能量中所占的比重，IRM為：

其中，|S(t,f)|²表示在時(shí)頻域中純凈語(yǔ)音的能量，|N(t,f)|²表示噪音的能量，β為尺度因子，t表示時(shí)間，f表示幅值。