[發明專利]殘留回聲抑制模型的訓練方法和訓練裝置

在審

• 申請號: 202111017286.0
• 申請日: 2021-08-31
• 公開（公告）號: CN113707167A
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 陳宏圣;樂笑懷;盧晶
• 申請（專利權）人: 北京地平線信息技術有限公司
• 主分類號: G10L21/0208
• 分類號: G10L21/0208;G10L21/0216;H04M9/08
• 代理公司: 北京思源智匯知識產權代理有限公司 11657
• 代理人: 毛麗琴

1.一種殘留回聲抑制模型的訓練方法，包括：

基于多個殘留回聲信號、多個背景噪音信號和多個近端語音信號生成多個混合音頻信號，其中，每個混合音頻信號包括一個殘留回聲信號、一個背景噪音信號和一個近端語音信號；

基于所述多個混合音頻信號，確定與所述多個混合音頻信號對應的多個輔助信號，其中，基于每個混合音頻信號中殘留回聲信號對應的遠端信號，確定每個混合音頻信號對應的輔助信號；

基于所述多個混合音頻信號和所述多個輔助信號訓練殘留回聲抑制模型。

2.根據權利要求1所述的殘留回聲抑制模型的訓練方法，其中，所述基于所述多個混合音頻信號和多個輔助信號訓練殘留回聲抑制模型，包括：

每次從所述多個混合音頻信號中獲取一個混合音頻信號，并從所述多個輔助信號中獲取一個輔助信號；

通過所述殘留回聲抑制模型的編碼器分別對當前獲取的混合音頻信號和當前獲取的輔助信號進行特征提取，得到第一特征張量和第二特征張量，其中，所述第一特征張量為所述當前獲取的混合音頻信號的特征張量，所述第二特征張量為所述當前獲取的輔助信號的特征張量；

通過所述殘留回聲抑制模型的雙路遞歸神經網絡對所述第一特征張量和所述第二特征張量進行處理，得到第三特征張量；

通過所述殘留回聲抑制模型的解碼器對所述第一特征張量和所述第三特征張量進行純凈語音信號的特征譜估計，基于特征譜估計結果調整所述殘留回聲抑制模型的參數，以訓練所述殘留回聲網絡模型。

3.根據權利要求2所述的殘留回聲抑制模型的訓練方法，其中，所述通過所述殘留回聲抑制模型的編碼器分別對當前獲取的混合音頻信號和當前獲取的輔助信號進行特征提取，得到第一特征張量和第二特征張量，包括：

通過所述殘留回聲抑制模型的編碼器對所述當前獲取的混合音頻信號進行一維卷積得到所述當前獲取的混合音頻信號的二維特征譜，并通過所述殘留回聲抑制模型的編碼器對所述當前獲取的輔助信號進行一維卷積得到所述當前獲取的輔助信號的二維特征譜，其中，所述一維卷積具有預設重疊率；

將所述當前獲取的混合音頻信號的二維特征譜通過全連接層降維后，劃分為多個具有所述預設重疊率的第一特征塊，并將所述當前獲取的輔助信號的二維特征譜通過全連接層降維后，劃分為多個具有所述預設重疊率的第二特征塊；

將所述多個具有所述預設重疊率的第一特征塊進行特征拼接得到所述第一特征張量，并將所述多個具有所述預設重疊率的第二特征塊進行特征拼接得到所述第二特征張量。

4.根據權利要求3所述的殘留回聲抑制模型的訓練方法，所述通過所述殘留回聲抑制模型的解碼器對所述第一特征張量和所述第三特征張量進行純凈語音信號的特征譜估計，包括：

將所述第三特征張量按照所述預設重疊率進行重疊相加操作，得到目標二維特征；

通過帶有激活函數的全連接層對所述目標二維特征進行特征維度升維，得到時域特征的掩模估計特征，將所述掩模估計特征與所述混合音頻信號的二維特征譜的逐點相乘結果作為所述特征譜估計結果。

5.根據權利要求2所述的殘留回聲抑制模型的訓練方法，其中，所述通過所述殘留回聲抑制模型的編碼器分別對當前獲取的混合音頻信號和當前獲取的輔助信號進行特征提取，得到第一特征張量和第二特征張量，包括：

通過所述殘留回聲抑制模型的編碼器對所述當前獲取的混合音頻信號的一維波形進行短時傅里葉變換得到第一復數時頻譜特征，并通過所述殘留回聲抑制模型的編碼器對所述輔助信號的一維波形進行短時傅里葉變換得到第二復數時頻譜特征；

將所述第一復數時頻譜特征的實數部分和虛數部分進行特征拼接得到所述第一特征張量，并將所述第二復數時頻譜特征的實數部分和虛數部分進行特征拼接得到所述第二特征張量。