[發(fā)明專利]一種embedding編解碼器的語音增強(qiáng)系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911314132.0
• 申請(qǐng)日: 2019-12-19
• 公開（公告）號(hào): CN111009252B
• 公開（公告）日: 2020-08-11
• 發(fā)明（設(shè)計(jì)）人: 藍(lán)天;葉文政;劉嶠;吳祖峰;錢宇欣;呂憶藍(lán);李森;彭川;李萌;惠國(guó)強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 電子科技大學(xué)
• 主分類號(hào): G10L21/02
• 分類號(hào): G10L21/02;G10L19/16
• 代理公司: 成都正華專利代理事務(wù)所(普通合伙) 51229
• 代理人: 陳選中

1.一種embedding編解碼器的語音增強(qiáng)系統(tǒng)，其特征在于，包括基于長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)的embedding編碼器、與所述embedding編碼器連接的長(zhǎng)期記憶模塊、與所述長(zhǎng)期記憶模塊連接的注意力模塊以及基于卷積神經(jīng)網(wǎng)絡(luò)的embedding解碼器網(wǎng)絡(luò)；

所述基于長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)的embedding編碼器用于分別對(duì)純凈語音語譜圖和帶噪語音語譜圖進(jìn)行編碼，產(chǎn)生純凈語音的embedding陣列以及帶噪語音的embedding陣列；

所述長(zhǎng)期記憶模塊由純凈語音的embedding陣列產(chǎn)生，用于從帶噪語音embedding陣列中提取語音特征；

所述注意力模塊用于利用含有純凈語音特征的長(zhǎng)期記憶從帶噪語音的embedding陣列中提取語音特征，形成新的embedding陣列；

所述基于卷積神經(jīng)網(wǎng)絡(luò)的embedding解碼器網(wǎng)絡(luò)用于將新的embedding陣列還原為增強(qiáng)語音語譜圖；

所述基于長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)的embedding編碼器包括1層全連接網(wǎng)絡(luò),以及與所述全連接網(wǎng)絡(luò)連接且位于所述全連接網(wǎng)絡(luò)后端的2層長(zhǎng)短期記憶網(wǎng)絡(luò)，且所述embedding編碼器產(chǎn)生的embedding陣列尺寸為(F×T×E),其中，F(xiàn)表示頻率,T表示時(shí)間,E表示embedding向量的尺寸；

所述基于卷積神經(jīng)網(wǎng)絡(luò)的embedding解碼器網(wǎng)絡(luò)由1層卷積神經(jīng)網(wǎng)絡(luò)組成，其卷積核大小為3×3，其輸入輸出通道數(shù)分別為40和1。

2.一種embedding編解碼器的語音增強(qiáng)方法，其特征在于，包括如下步驟：

S1、分別對(duì)訓(xùn)練集中的純凈語音和帶噪語音進(jìn)行短時(shí)傅里葉變換處理，得到純凈語音以及帶噪語音的語譜圖；

S2、利用embedding編碼器分別對(duì)所述純凈語音和帶噪語音的語譜圖進(jìn)行編碼，產(chǎn)生純凈語音的embedding陣列以及帶噪語音的embedding陣列，并通過所述純凈語音的embedding陣列產(chǎn)生長(zhǎng)期記憶；

S3、將帶噪語音的embedding陣列和所述長(zhǎng)期記憶輸入至注意力模塊，并利用含有純凈語音特征的長(zhǎng)期記憶從所述帶噪語音的embedding陣列中產(chǎn)生堆疊時(shí)頻掩蔽層，并利用所述堆疊時(shí)頻掩蔽層提取語音特征，形成新的embedding陣列；

所述步驟S3包括如下步驟：

S301、將帶噪語音的embedding陣列和所述長(zhǎng)期記憶輸入至注意力模塊，并分別對(duì)所述帶噪語音的embedding陣列和含有純凈語音特征的長(zhǎng)期記憶進(jìn)行注意力計(jì)算得到時(shí)頻掩蔽；

所述步驟S301中時(shí)頻掩蔽的表達(dá)式如下：

a_t,f＝sigmoid(M·A_t,f)

其中，M表示長(zhǎng)期記憶，A_t,f表示embedding陣列中的每個(gè)embedding向量，a_t,f表示時(shí)頻掩蔽層的每個(gè)時(shí)頻單元；

S302、將所述時(shí)頻掩蔽進(jìn)行復(fù)制和堆疊，產(chǎn)生堆疊時(shí)頻掩蔽層，并將堆疊時(shí)頻掩蔽層的尺寸與embedding陣列的尺寸保持一致；

所述步驟S302中堆疊時(shí)頻掩蔽層的尺寸為(F×T×E),其中，F(xiàn)表示頻率,T表示時(shí)間、E表示embedding向量的尺寸；

S303、利用所述堆疊時(shí)頻掩蔽層從embedding陣列中提取語音特征，形成新的embedding陣列；

所述步驟S303中提取語音特征A'的表達(dá)式如下：

A'＝A⊙SM

其中，A表示embedding陣列,SM表示堆疊的時(shí)頻掩蔽層，⊙表示矩陣點(diǎn)乘；

S4、利用基于卷積神經(jīng)網(wǎng)絡(luò)的embedding解碼器網(wǎng)絡(luò)將所述新的embedding陣列還原為增強(qiáng)語音語譜圖，實(shí)現(xiàn)語音增強(qiáng)。