[發明專利]語音增強方法、裝置、設備及存儲介質

有效

• 申請號: 202010615254.X
• 申請日: 2020-06-30
• 公開（公告）號: CN111785288B
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 鄧承韻;宋輝;沙永濤;張毅
• 申請（專利權）人: 北京嘀嘀無限科技發展有限公司
• 主分類號: G10L21/02
• 分類號: G10L21/02;G10L25/30;G06N3/04;G06N3/08
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 張娜;臧建明

1.一種語音增強方法，其特征在于，所述方法包括：

獲取目標語音；

確定所述目標語音所在場景的場景類型；

在預設的各語音增強模型中，選取與所述場景類型對應的語音增強模型；

通過與所述場景類型對應的語音增強模型，對所述目標語音進行增強；

其中，所述語音增強模型為預先訓練好的生成式對抗網絡的生成器，所述生成器為卷積循環神經網絡，所述生成式對抗網絡基于訓練語音和預設的性能指標多次訓練得到，所述訓練語音包括帶噪語音和帶噪語音的原始語音；

所述生成器的一次訓練過程包括：

通過所述生成器對所述帶噪語音進行增強，得到所述生成器輸出的時頻掩碼和增強后的所述帶噪語音；

通過所述生成式對抗網絡的判別器對增強后的所述帶噪語音進行性能分數預測，得到增強后的所述帶噪語音的預測性能分數；

基于增強后的所述帶噪語音的預測性能分數與預設的目標性能分數之間的差值，以及增強后的所述帶噪語音的時頻掩碼與目標時頻掩碼之間的差值，對所述生成器進行模型參數調整，所述目標時頻掩碼基于所述原始語音得到。

2.根據權利要求1所述的方法，其特征在于，所述判別器為卷積神經網絡；所述判別器的一次訓練過程包括：

通過所述判別器對所述原始語音進行性能分數預測，得到所述原始語音的預測性能分數；

根據增強后的所述帶噪語音的性能分數和預測性能分數、以及所述原始語音的預測性能分數，對所述判別器進行訓練。

3.根據權利要求1或2所述的方法，其特征在于，所述通過所述生成器對所述帶噪語音進行增強，包括：

提取所述帶噪語音的幅度譜和相位譜；

將所述幅度譜輸入所述生成器，得到所述生成器輸出的時頻掩碼；

通過所述時頻掩碼對所述幅度譜進行增強；

對所述相位譜和增強后的所述幅度譜進行逆傅里葉變換，得到增強后的所述帶噪語音。

4.根據權利要求1或2所述的方法，其特征在于，所述基于增強后的所述帶噪語音的預測性能分數與預設的目標性能分數之間的差值，以及基于所述時頻掩碼與目標時頻掩碼之間的差值，對所述生成器進行模型參數調整，包括：

根據所述帶噪語音和所述原始語音，確定所述目標時頻掩碼；

根據增強后的所述帶噪語音的預測性能分數和所述目標性能分數，確定第一損失值，并根據所述目標時頻掩碼和所述時頻掩碼，確定第二損失值；

根據所述第一損失值和所述第二損失值，對所述生成器進行訓練。

5.根據權利要求1或2所述的方法，其特征在于，所述通過所述判別器對增強后的所述帶噪語音進行性能分數預測，得到增強后的所述帶噪語音的預測性能分數，包括：

提取所述原始語音的幅度譜，并提取增強后的所述帶噪語音的幅度譜；

對所述原始語音的幅度譜和增強后的所述帶噪語音的幅度譜進行合并，得到所述判別器的輸入數據；

將所述判別器的輸入數據輸入所述判別器，得到增強后的所述帶噪語音的預測性能分數。

6.根據權利要求1或2所述的方法，其特征在于，所述性能指標為語音識別指標或主觀聽感指標。

7.根據權利要求6所述的方法，其特征在于，所述語音識別指標包括詞錯誤率。

8.根據權利要求6所述的方法，其特征在于，所述主觀聽感指標包括如下一項或多項：主觀語音質量評估、短時客觀可懂度。