[發明專利]語音增強模型的訓練方法和裝置及語音增強方法和裝置

有效

• 申請號: 202110096168.7
• 申請日: 2021-01-25
• 公開（公告）號: CN112927707B
• 公開（公告）日: 2023-10-03
• 發明（設計）人: 張新;張旭;鄭羲光;張晨;郭亮
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G10L21/0208
• 分類號: G10L21/0208;G10L21/0224;G10L21/0232;G10L21/0272;G10L25/24;G10L25/30
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 蘇銀虹;曾世驍

1.一種語音增強模型的訓練方法，其特征在于，所述語音增強模型包括語音增強網絡和注意力機制網絡，所述訓練方法包括：

獲取多個說話人的含噪語音樣本和所述多個說話人的第一純凈語音樣本的特征向量，其中，每個說話人的含噪語音樣本是根據與該說話人對應的第二純凈語音樣本添加噪聲數據得到的；

將所述含噪語音樣本的幅度譜輸入所述語音增強網絡，得到估計的第一掩膜比，其中，掩膜比表示純凈語音信號幅度譜與含噪語音信號幅度譜的比值；

將所述估計的第一掩膜比和所述特征向量輸入到所述注意力機制網絡，得到估計的第二掩膜比；

根據所述估計的第二掩膜比和所述幅度譜，確定估計的幅度譜，并根據所述估計的幅度譜和第二純凈語音樣本的幅度譜確定所述語音增強模型的損失函數；

通過根據所述損失函數調整所述語音增強網絡和所述注意力機制網絡的參數，對所述語音增強模型進行訓練。

2.如權利要求1所述的訓練方法，其特征在于，第一純凈語音樣本和第二純凈語音樣本不同。

3.如權利要求1所述的訓練方法，其特征在于，所述特征向量是使用特征提取網絡對第一純凈語言樣本進行特征提取而得到的。

4.如權利要求1所述的訓練方法，其特征在于，所述將所述估計的第一掩膜比和所述特征向量輸入到所述注意力機制網絡，得到第二掩膜比，包括：

將每個說話人的特征向量擴充至與每個說話人對應的所述估計的第一掩膜比相同的維度；

分別將每個說話人對應的所述估計的第一掩膜比與相應說話人的擴充后的特征向量進行串聯以獲得每個說話人對應的串聯特征；

將每個說話人對應的所述串聯特征作為所述注意力機制網絡的輸入。

5.一種語音增強方法，其特征在于，包括：

獲取待增強的含噪語音信號和第一說話人的純凈語音信號的特征向量，其中，所述含噪語音信號包括第一說話人的語音；

將所述含噪語音信號的幅度譜輸入語音增強模型中的語音增強網絡，得到估計的第一掩膜比，其中，掩膜比表示純凈語音信號幅度譜與含噪語音信號幅度譜的比值，其中，所述語音增強模型包括所述語音增強網絡和注意力機制網絡；

將所述估計的第一掩膜比和所述特征向量輸入所述注意力機制網絡，得到估計的第二掩膜比；

根據所述估計的第二掩膜比，獲得所述含噪語音信號中第一說話人的增強語音。

6.一種語音增強模型的訓練裝置，其特征在于，所述語音增強模型包括語音增強網絡和注意力機制網絡，所述訓練裝置包括：

獲取單元，被配置為：獲取多個說話人的含噪語音樣本和所述多個說話人的第一純凈語音樣本的特征向量，其中，每個說話人的含噪語音樣本是根據與該說話人對應的第二純凈語音樣本添加噪聲數據得到的；

第一估計單元，被配置為：將所述含噪語音樣本的幅度譜輸入所述語音增強網絡，得到估計的第一掩膜比，其中，掩膜比表示純凈語音信號幅度譜與含噪語音信號幅度譜的比值；

第二估計單元，被配置為：將所述估計的第一掩膜比和所述特征向量輸入到所述注意力機制網絡，得到估計的第二掩膜比；

計算單元，被配置為：根據所述估計的第二掩膜比和所述幅度譜，確定估計的幅度譜，并根據所述估計的幅度譜和第二純凈語音樣本的幅度譜確定所述語音增強模型的損失函數；

調參單元，被配置為：通過根據所述損失函數調整所述語音增強網絡和所述注意力機制網絡的參數，對所述語音增強模型進行訓練。