[發(fā)明專利]語音增強模型的訓練方法和裝置及語音增強方法和裝置

有效

• 申請?zhí)枺?/td>: 202011556441.1
• 申請日: 2020-12-25
• 公開（公告）號: CN112289333B
• 公開（公告）日: 2021-04-13
• 發(fā)明（設計）人: 張新;郭亮;鄭羲光;張晨
• 申請（專利權）人: 北京達佳互聯(lián)信息技術有限公司
• 主分類號: G10L21/0208
• 分類號: G10L21/0208;G10L21/0216;G10L25/03;G10L25/30
• 代理公司: 北京銘碩知識產(chǎn)權代理有限公司 11286
• 代理人: 蘇銀虹;曾世驍

1.一種語音增強模型的訓練方法，其特征在于，所述語音增強模型包括特征提取網(wǎng)絡和語音增強網(wǎng)絡，所述訓練方法包括：

獲取多個說話人的語音樣本，其中，每個說話人的語音樣本包括含噪語音樣本和第一純凈語音樣本，其中，所述含噪語音樣本是根據(jù)與說話人對應的第二純凈語音樣本添加噪聲數(shù)據(jù)得到的；

根據(jù)所述含噪語音樣本和第一純凈語音樣本，獲取每個說話人對應的特征向量和所述含噪語音樣本的幅度譜，其中，所述特征向量是使用所述特征提取網(wǎng)絡提取第一純凈語言樣本得到的；

將所述特征向量作為輔助向量與所述幅度譜一起輸入所述語音增強網(wǎng)絡，得到估計的掩膜比，其中，所述掩膜比表示純凈語音信號幅度譜與含噪語音信號幅度譜的比值；

根據(jù)所述估計的掩膜比確定估計的增強語音信號，根據(jù)估計的增強語音信號和第二純凈語音樣本確定所述語音增強模型的損失函數(shù)；

通過根據(jù)所述損失函數(shù)調(diào)整所述特征提取網(wǎng)絡和所述語音增強網(wǎng)絡的模型參數(shù)，對所述語音增強模型進行訓練。

2.如權利要求1所述的訓練方法，其特征在于，第一純凈語音樣本和第二純凈語音樣本不同。

3.如權利要求1所述的訓練方法，其特征在于，每個說話人的第一純凈語音樣本包括多條純凈語音樣本；

其中，所述獲取每個說話人對應的特征向量，包括：

將所述多條純凈語音樣本的幅度譜輸入所述特征提取網(wǎng)絡，獲得每個說話人對應的多個特征向量。

4.如權利要求3所述的訓練方法，其特征在于，每個說話人的第二純凈語音樣本包括多條純凈語音樣本，相應得到的每個說話人對應的所述含噪語音樣本包括多條含噪語音樣本；

其中，所述獲取每個說話人對應的所述含噪語音樣本的幅度譜，包括：

分別提取所述多條含噪語音樣本的幅度譜以獲得每個說話人對應的多個幅度譜。

5.如權利要求4所述的訓練方法，其特征在于，所述將所述特征向量作為輔助向量與所述幅度譜一起輸入所述語音增強網(wǎng)絡，得到估計的掩膜比，包括：

將每個說話人對應的所述多個特征向量求平均，獲得每個說話人對應的平均特征向量；

將每個說話人對應的平均特征向量擴充至與每個說話人對應的所述多個幅度譜相同的維度；

分別將每個說話人的所述多個幅度譜與相應說話人的擴充后的平均特征向量進行串聯(lián)以獲得每個說話人對應的多個串聯(lián)后的特征；

將每個說話人對應的所述多個串聯(lián)后的特征作為所述語音增強網(wǎng)絡的輸入。

6.如權利要求1所述的訓練方法，其特征在于，所述根據(jù)所述估計的掩膜比確定估計的增強語音信號，包括：

分別將所述幅度譜與所述估計的掩膜比相乘，獲得估計的幅度譜，并將所述估計的幅度譜與所述含噪語音樣本的相位譜結合并執(zhí)行時頻逆變換，以獲得估計的增強語音。

7.如權利要求1所述的訓練方法，其特征在于，所述根據(jù)估計的增強語音信號和第二純凈語音樣本確定所述語音增強模型的損失函數(shù)，包括：

基于估計的增強語音信號和第二純凈語音樣本，計算語音失真度，作為所述損失函數(shù)。

8.如權利要求7所述的訓練方法，其特征在于，所述根據(jù)估計的增強語音信號和第二純凈語音樣本確定所述語音增強模型的損失函數(shù)，還包括：

基于所述多個說話人的特征向量中的相同說話人的特征向量的余弦相似度得分和所述多個說話人的特征向量中的不同說話人的特征向量之間的余弦相似度得分，計算交叉熵損失函數(shù)；

將所述語音失真度與所述交叉熵損失函數(shù)之和，作為最終的所述損失函數(shù)。

9.如權利要求7所述的訓練方法，其特征在于，所述基于估計的增強語音信號和第二純凈語音樣本，計算語音失真度，包括：

針對每個第二純凈語音樣本與相應的估計的增強語音信號計算語音失真度，以獲得多個語音失真度，并對所述多個語音失真度求平均，獲得所述語音失真度。