[發明專利]一種embedding編解碼器的語音增強系統及方法

有效

• 申請號: 201911314132.0
• 申請日: 2019-12-19
• 公開（公告）號: CN111009252B
• 公開（公告）日: 2020-08-11
• 發明（設計）人: 藍天;葉文政;劉嶠;吳祖峰;錢宇欣;呂憶藍;李森;彭川;李萌;惠國強
• 申請（專利權）人: 電子科技大學
• 主分類號: G10L21/02
• 分類號: G10L21/02;G10L19/16
• 代理公司: 成都正華專利代理事務所(普通合伙) 51229
• 代理人: 陳選中

本發明提供了一種embedding編解碼器的語音增強系統，構造了一個堆疊的神經網絡模型，神經網絡模型對語音語譜圖進行編碼，對每個時頻元高維映射而形成embedding向量表示?；谏鲜鱿到y，本發明還提供了一種embedding編解碼器的語音增強方法。本發明從高維映射的角度對語音語譜圖中的時頻元進行建模，提出了一種新穎的語音增強模型結構，能夠有效提升帶噪語音質量和可懂度，并且對不同信噪比環境有著良好的泛化性。此外，本發明中神經網絡模型可在低信噪比環境下穩定工作。

技術領域

本發明屬于人工智能語音處理技術領域，具體涉及一種embedding編解碼器的語音增強系統及方法。

背景技術

語音增強是語音處理中一項重要的前端技術，其在無線通話、會議錄音、聽覺輔助、同聲傳譯和語音識別等系統中都有廣泛的應用。語音識別系統對語音質量和可懂度要求較高，雖然目前的語音識別系統準確率已經達到了較高的水平，然而對于受噪聲或混響污染的語音信號往往難以達到理想的效果。輕微的噪聲干擾就可以使語音識別系統的準確率大大降低，現有的非魯棒性自動語音識別系統還不能在噪聲環境下穩定工作。

使用結合注意力機制的語音增強模型來模仿人類的行為方式是一種直覺的做法。文獻“Modeling Attention and Memory for Auditory Selection in a Cocktail PartyEnvironment”將語音語譜圖的高維映射、注意力機制和長期記憶應用于語音分離。然而，該方法(unified Auditory Selection framework with Attention and Memory,ASAM)在生成掩蔽層的時頻元時沒有充分利用相關的embedding信息，其在語音增強任務中效果一般，embedding：語譜圖中時頻點在高維空間上的映射，在自然語言處理中也作為詞或句子的表示。

發明內容

針對現有技術中的上述不足，本發明提供的一種embedding編解碼器語音增強系統及方法，從高維映射的角度對語音語譜圖中的時頻元進行建模，提出了一種新穎的語音增強模型結構，能夠有效提升帶噪語音質量和可懂度，并且對不同信噪比環境有著良好的泛化性。

為了達到以上目的，本發明采用的技術方案為：

本方案提供一種embedding編解碼器的語音增強系統，包括基于長短期記憶神經網絡的embedding編碼器、與所述embedding編碼器連接的長期記憶模塊、與所述長期記憶模塊連接的注意力模塊以及基于卷積神經網絡的embedding解碼器網絡；

所述基于長短期記憶神經網絡的embedding編碼器用于分別對純凈語音語譜圖和帶噪語音語譜圖進行編碼，產生純凈語音的embedding陣列以及帶噪語音的embedding陣列；

所述長期記憶模塊由純凈語音的embedding陣列產生，用于從帶噪語音embedding陣列中提取語音特征；

所述注意力模塊用于利用含有純凈語音特征的長期記憶從帶噪語音的embedding陣列中提取語音特征，形成新的embedding陣列；

所述基于卷積神經網絡的embedding解碼器網絡用于將新的embedding陣列還原為增強語音語譜圖。

進一步地，所述基于長短期記憶神經網絡的embedding編碼器包括1層全連接網絡,以及與所述全連接網絡連接且位于所述全連接網絡后端的2層長短期記憶網絡，且所述embedding編碼器產生的embedding陣列尺寸為(F×T×E),其中，F表示頻率,T表示時間,E表示embedding向量的尺寸。

再進一步地，所述基于卷積神經網絡的embedding解碼器網絡由1層卷積神經網絡組成，其卷積核大小為3×3，其輸入輸出通道數分別為40和1。