[發明專利]語音處理模型訓練方法及裝置和語音處理方法及裝置

在審

• 申請號: 202011330109.3
• 申請日: 2020-11-24
• 公開（公告）號: CN112309426A
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 鄭羲光;李楠;任新蕾;張晨
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G10L25/30
• 分類號: G10L25/30;G10L25/21;G10L21/0208;G10L21/0216;G10L21/034;G06N3/04
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 劉超;蘇銀虹

本公開提供了一種語音處理模型的訓練方法及其裝置和語音處理方法及其裝置。所述訓練方法包括：基于語音信號、噪聲信號和所述特定信號中的至少一個生成混合信號和目標信號；將所述混合信號輸入語音處理模型，以獲得估計數據；基于所述目標信號和所述估計數據來確定損失函數；基于所述損失函數對語音處理模型進行訓練，以調整語音處理模型的參數。

技術領域

本公開涉及音頻技術領域，尤其涉及一種語音處理模型的訓練方法及其裝置和語音處理方法及其裝置。

背景技術

隨著電子技術以及網絡技術的快速發展，電子設備可在時頻域基于神經網絡的語音處理算法對音頻信號進行處理。

雖然基于神經網絡的語音增強和降噪已經取得了超過傳統信號處理方法的性能，并已經能夠高效地在電子設備中運行，但是對于語音增強(非語音成分不變語音成分增大)和語音去噪(語音成分不變非語音成分變小)問題，一般通過訓練兩個神經網絡以分別達到語音增強和去噪的目的。另外，對于應用兩種神經網絡進行語音處理，總是將一類信號放大或縮小而保持另一類信號不變。

發明內容

本公開提供一種語音處理模型的訓練方法及其裝置和語音處理方法及其裝置，以至少解決使用一個神經網絡同時完成語音增強和去噪的問題。

根據本公開實施例的第一方面，提供一種語音處理模型的訓練方法，所述方法可包括：基于語音信號、噪聲信號和所述特定信號中的至少一個生成混合信號和目標信號；將所述混合信號輸入語音處理模型，以獲得估計數據；基于所述目標信號和所述估計數據來確定損失函數；基于所述損失函數對語音處理模型進行訓練，以調整語音處理模型的參數。

可選地，基于語音信號、噪聲信號和特定信號中的至少一個生成混合信號的步驟可包括：將所述特定信號乘以第一增益以得到第一信號并且將噪聲信號乘以第二增益以得到第二信號；通過將第一信號、第二信號和語音信號進行混合來生成所述混合信號。

可選地，第一增益可以是基于第一預定信噪比確定的，第二增益可以是基于第二信噪比和第一增益確定的。

可選地，基于語音信號、噪聲信號和特定信號中的至少一個生成目標信號的步驟可包括：將語音信號乘以第三增益來獲得第三信號；通過將第三信號和第二信號進行混合來生成所述目標信號。

可選地，所述估計數據可以為估計的目標信號或者估計的理想幅度掩碼，其中，理想幅度掩碼與信號能量相關。

可選地，在所述估計數據為估計的理想幅度掩碼的情況下，基于所述目標信號和所述估計數據來確定損失函數的步驟可包括：基于所述目標信號和所述混合信號計算目標理想幅度掩碼；基于所述目標理想幅度掩碼和所述估計數據確定損失函數。

可選地，目標理想幅度掩碼可以為所述目標信號與所述混合信號在時頻域上的幅度比。

根據本公開實施例的第二方面，提供一種語音處理方法，所述方法可包括：獲取音頻信號，其中，所述音頻信號包括語音信號、噪聲信號和特定信號中的至少一個，所述特定信號屬于不需要被增強和抑制的音頻類型；基于所述音頻信號使用語音處理模型，獲得理想幅度掩碼；以及根據所述理想幅度掩碼的大小，對所述音頻信號進行不同的處理以獲得期望信號。

可選地，語音處理模型可由上述訓練方法訓練獲得的。

可選地，根據所述理想幅度掩碼的大小，對所述音頻信號進行不同的處理以獲得期望信號的步驟可包括：通過對所述理想幅度掩碼與預定閾值進行比較來確定是否基于由所述音頻信號與所述理想幅度掩碼相乘得到的估計信號來獲得所述期望信號。

可選地，確定是否基于由所述音頻信號與所述理想幅度掩碼相乘得到的估計信號來獲得所述期望信號的步驟可包括：如果所述理想幅度掩碼大于所述預定閾值，則將所述估計信號與由用戶定義的增益相乘來獲得所述期望信號；否則將所述音頻信號作為所述期望信號。