[發明專利]一種多模塊抑制不同種類噪聲的雙噪聲語音增強方法

有效

• 申請號: 201910914176.0
• 申請日: 2019-09-25
• 公開（公告）號: CN110491406B
• 公開（公告）日: 2020-07-31
• 發明（設計）人: 藍天;葉文政;惠國強;劉嶠;李森;錢宇欣;呂憶藍;彭川;李萌
• 申請（專利權）人: 電子科技大學
• 主分類號: G10L21/0208
• 分類號: G10L21/0208;G10L21/0316;G10L25/30
• 代理公司: 成都東恒知盛知識產權代理事務所(特殊普通合伙) 51304
• 代理人: 何健雄;廖祥文

1.一種多模塊抑制不同種類噪聲的雙噪聲語音增強方法，其特征在于，包括以下步驟：

S1：對多種類型的噪聲進行兩個階段建模，對于輸入的帶噪語音，在每個階段通過噪聲抑制模塊提取并過濾一種或多種噪聲特征；其中，每個噪聲抑制模塊的損失函數均不相同；

S2：噪聲抑制模塊提取過濾過程中被抑制部分噪聲的幅度譜和原始帶噪語音幅度譜拼接并輸入最終的神經網絡；

S3：使用神經網絡學習帶噪幅度譜到純凈幅度譜的映射，對特征進行提煉，得到純凈的幅度譜；

S4：中間噪聲抑制模塊損失函數的擬合目標為帶噪語音，最終噪聲抑制模塊損失函數的擬合目標為純凈語音。

2.根據權利要求1所述的雙噪聲語音增強方法，其特征在于：所述帶噪語音由以下公式表示：

式中X表示帶噪語音，S表示純凈語音，N_i表示一種加性噪聲，共有k種噪聲。

3.根據權利要求1所述的雙噪聲語音增強方法，其特征在于：所述噪聲抑制模塊包含2層全連接層和2層LSTM，其執行基本的抑制帶噪語音中某一種或多種噪聲的任務，其功能由以下公式表示：

X′＝f(X)

上式表示增強語音X′，其噪聲數量少于降噪以前，f表示噪聲抑制模塊(NoiseReduction Module，NRM)網絡。

4.根據權利要求1所述的雙噪聲語音增強方法，其特征在于，步驟S1中，包含兩個階段，分別為第一階段和第二階段，所述第一階段包含兩個噪聲抑制模塊，其中，每個噪聲抑制模塊的輸入都為含兩種噪聲的帶噪語音，輸出幅度譜的帶噪語音中噪聲種類少于輸入。

5.根據權利要求4所述的雙噪聲語音增強方法，其特征在于：第一階段得到2個含不同類型噪聲的語音幅度譜，每個幅度譜含有不同的語音特征信息；兩個噪聲抑制模塊及其損失函數分別由以下公式表示：

X₂₁＝f₁₁(X₁)

X₂₂＝f₁₂(X₁)

式中，X₁＝S+N₁+N₂、X₂₁＝S+N₁、X₂₂＝S+N₂，X₁表示含兩種噪聲的混合帶噪語音，X₂₁、X₂₂表示含一種噪聲的帶噪語音，X₂₁、X₂₂含有噪聲種類不同；l_i表示噪聲抑制模塊的損失函數，i＝1，2。

6.根據權利要求5所述的雙噪聲語音增強方法，其特征在于：所述第二階段只含一個噪聲抑制模塊，不限定過濾某種噪聲，輸入為第一階段產生的含豐富語音特征信息的多個幅度譜，這些幅度譜被拼接送入一個噪聲抑制模塊，噪聲抑制模塊的輸出為最終增強語音，表示為：

X₂＝[X₁；X₂₁；X₂₂]

X₃＝f₂(X₂)

式中表示X₂由X₁、X₂₁、X₂₂拼接形成；

該噪聲抑制模塊的損失函數表示為：

。

7.根據權利要求6所述的雙噪聲語音增強方法，其特征在于，還包括以下步驟：對3個模塊進行聯合訓練，最終的損失函數表示為：

loss＝α₁*l₁+α₂*l₂+…+α_m*l_m

其中l_i表示每個模塊的損失函數，α_i表示每個模塊的權重，共有m個模塊。