[發明專利]一種基于加權語音損失的語音增強神經網絡訓練方法及裝置

有效

• 申請號: 202111483345.3
• 申請日: 2021-12-07
• 公開（公告）號: CN113921030B
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 蘇家雨;王博;歐陽鵬
• 申請（專利權）人: 江蘇清微智能科技有限公司
• 主分類號: G10L21/0208
• 分類號: G10L21/0208;G10L25/30;G06N3/08
• 代理公司: 北京索睿邦知識產權代理有限公司 11679
• 代理人: 李根

1.一種基于加權語音損失的語音增強神經網絡訓練方法，其特征在于，所述方法包括：

提取訓練樣本中帶噪語音的對數功率譜特征，所述訓練樣本中包括所述帶噪語音以及用于構成所述帶噪語音的干凈語音和噪聲；

將所提取的對數功率譜特征輸入初始語音增強神經網絡得到所述帶噪語音的預估增益；

基于所述預估增益和噪聲，計算表征所述帶噪語音噪聲抑制效果的第一損失值；

基于所述預估增益和目標語音幀，計算表征所述帶噪語音失真情況的第二損失值，所述目標語音幀為所述干凈語音和噪聲中存在語音活動的幀；

獲取所述第一損失值和第二損失值的權值，并基于所獲取的權值進行加權計算得到最終損失值；

在所述最終損失值不收斂的情況下，基于所述最終損失值調整所述初始語音增強神經網絡，并返回將所提取的對數功率譜特征輸入初始語音增強神經網絡得到所述帶噪語音的預估增益的步驟；

在所述最終損失值收斂的情況下，將所述初始語音增強神經網絡作為用于語音增強的神經網絡。

2.如權利要求1所述的方法，其特征在于，基于所述預估增益和噪聲，計算表征所述帶噪語音噪聲抑制效果的第一損失值的步驟，包括：

基于所述預估增益和噪聲，通過以下表達式計算表征所述帶噪語音噪聲抑制效果的第一損失值：

其中，表示所述第一損失值，G表示所述預估增益，N表示所述噪聲，mean表示均方誤差運算函數。

3.如權利要求1所述的方法，其特征在于，基于所述預估增益和目標語音幀，計算表征所述帶噪語音失真情況的第二損失值的步驟，包括：

基于所述預估增益和目標語音幀，通過以下表達式計算表征所述帶噪語音失真情況的第二損失值：

其中，表示所述第二損失值，G表示所述預估增益，N表示所述噪聲，S表示所述干凈語音，下標A表示存在語音活動的幀，mean表示均方誤差運算函數。

4.如權利要求1所述的方法，其特征在于，確定所述目標語音幀的步驟，包括：

基于當前幀在目標頻段的頻域表示，計算所述當前幀的能量和；

在計算得到的能量和大于預定閾值的情況下記為0，小于預定閾值的情況下記為1，平滑所述當前幀以及所述當前幀之前預定數量幀的能量和與預定閾值的比較結果，并根據平滑處理后的比較結果確定當前幀是否為目標語音幀。

5.如權利要求1所述的方法，其特征在于，獲取所述第一損失值和第二損失值的權值的步驟，包括：

基于信噪比通過以下表達式計算所述第二損失值的權值：

其中，SNR表示信噪比，β為一個設定的常數；

基于所述第一損失值的權值與所述第二損失值的權值之和為1的運算規則，確定所述第一損失值的權值。

6.一種基于加權語音損失的語音增強神經網絡訓練裝置，其特征在于，所述裝置包括：

特征提取模塊，用于提取訓練樣本中帶噪語音的對數功率譜特征，所述訓練樣本中包括所述帶噪語音以及用于構成所述帶噪語音的干凈語音和噪聲；

語音增強神經網絡模塊，用于將所提取的對數功率譜特征輸入初始語音增強神經網絡得到所述帶噪語音的預估增益；

損失值計算模塊，用于基于所述預估增益和噪聲，計算表征所述帶噪語音噪聲抑制效果的第一損失值；基于所述預估增益和目標語音幀，計算表征所述帶噪語音失真情況的第二損失值，所述目標語音幀為所述干凈語音和噪聲中存在語音活動的幀；獲取所述第一損失值和第二損失值的權值，并基于所獲取的權值進行加權計算得到最終損失值；

神經網絡調整模塊，用于在所述最終損失值不收斂的情況下，基于所述最終損失值調整所述初始語音增強神經網絡，并返回將所提取的對數功率譜特征輸入初始語音增強神經網絡得到所述帶噪語音的預估增益的步驟；在所述最終損失值收斂的情況下，將所述初始語音增強神經網絡作為用于語音增強的神經網絡。