[發明專利]一種單通道語音同時降噪和去混響系統

有效

• 申請號: 202010985378.7
• 申請日: 2020-09-18
• 公開（公告）號: CN112017682B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 范存航;溫正棋
• 申請（專利權）人: 中科極限元（杭州）智能科技股份有限公司
• 主分類號: G10L21/0208
• 分類號: G10L21/0208;G10L25/30;G06N3/0464;G06N3/08
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 楊小凡

本發明公開了一種單通道語音同時降噪和去混響系統，包括：語音降噪模塊、語音去混響模塊和聯合訓練模塊，語音降噪模塊利用深度聚類算法訓練深度嵌入式特征提取器，從混合的語音信號中提取深度嵌入式特征，將輸入的混合語音映射到一個沒有噪聲的嵌入式空間中，因此深度嵌入式特征不包含噪聲，且對混響和直達聲區分性很大；語音去混響模塊與語音降噪模塊連接，將混響語音信號從深度嵌入式特征中去除，估計出干凈目標的直達聲，從而實現語音降噪和去混響的目的；聯合訓練模塊分別與語音降噪模塊和語音去混響模塊連接，用于聯合優化語音降噪和語音去混響模塊，提升增強后語音的質量和可懂度。

技術領域

本發明涉及信號處理技術領域，尤其是涉及了一種單通道語音同時降噪和去混響系統。

背景技術

語音作為人類交流信息的主要手段之一，語音降噪和去混響一直在語音信號處理中占據著重要的地位。在真實環境中，語音信號往往會同時包含混響和噪聲，會嚴重影響語音的質量和可懂度，同時對語音識別和聲紋識別系統的性能影響也比較大。因此，語音去混響和降噪就顯得很重要。為了解決語音去混響問題，在過去的多年很多方法也被提出來。加權預測誤差(WPE)算法在信號層面處理語音去混響，即延時線性預測。WPE首先通過多個歷史幀得到與頻率相關的線性預測濾波器。然后在子帶域從原始混響信號中減去濾波后的信號，得到增強信號。但是，當噪聲和混響同時存在時，WPE算法的性能會受到嚴重的影響，制約著該方法的應用。

近年來，隨著計算機技術的發展，基于深度學習的語音去混響方法得到了很大的發展，受到了越來越多人的關注。基于深度學習的語音去混響方法通過訓練語音去混響模型，建立混合語音特征參數與目標干凈語音信號的特征參數之間的映射關系，這樣對于任意輸入的混合語音信號都可以通過建立的去混模型來輸出目標干凈語音信號，從而達到語音去混響的目的。但是采用這些方法僅僅使用幅值譜作為特征，不具有區分性，限制著語音去混響的性能。在語音同時包含噪聲和混響的情況下，增強后的語音音質無法保證。

發明內容

為解決現有技術的不足，實現在語音同時包含噪聲和混響的情況下，仍能保持增強后的語音有較高音質目的，本發明采用如下的技術方案：

一種單通道語音同時降噪和去混響系統，包括：語音降噪模塊、語音去混響模塊和聯合訓練模塊，語音降噪模塊利用深度聚類算法訓練深度嵌入式特征提取器，從混合的語音信號中提取深度嵌入式特征，將輸入的混合語音映射到一個沒有噪聲的嵌入式空間中，因此深度嵌入式特征不包含噪聲，且對混響和直達聲區分性很大；語音去混響模塊與語音降噪模塊連接，將混響語音信號從深度嵌入式特征中去除，估計出干凈目標的直達聲，從而實現語音降噪和去混響的目的；聯合訓練模塊分別與語音降噪模塊和語音去混響模塊連接，用于聯合優化語音降噪和語音去混響模塊，提升增強后語音的質量和可懂度。

所述語音降噪模塊對輸入的混合語音信號進行短時傅里葉變換，將時域信號變換到頻域信號后，對其進行建模，利用深度聚類算法提取深度嵌入式特征，將輸入的混合語音映射到一個沒有噪聲的嵌入式空間中，深度嵌入式特征利用深度神經網絡訓練得到，語音降噪模塊的訓練損失目標函數為：

V是深度嵌入式特征，表示實數，TF是經過傅里葉變換后的時頻塊，B是每一個時頻塊直達聲和混響的對應關系，表示平方Frobenius范數，從而達到語音降噪的目的。

所述語音去混響模塊利用深度神經網絡實現，網絡的輸入為深度嵌入式特征，輸出為估計的目標浮點掩蔽值，公式如下：

是估計的目標浮點掩蔽值，語音去混響模塊的訓練損失目標函數為：

|Y(t，f)|是混合語音的幅值譜，|X(t，f)|是目標干凈直達聲的幅值譜，利用輸入的混合語音的幅值譜|Y(t，f)|與估計的目標浮點掩蔽值進行逐點乘積，得到估計的目標干凈直達聲的幅值譜，在估計的目標干凈直達聲的幅值譜和目標干凈直達聲的幅值譜之間計算均方誤差。