[發明專利]語音處理裝置、設備及其訓練方法

有效

• 申請號: 202010042843.3
• 申請日: 2020-01-15
• 公開（公告）號: CN111261145B
• 公開（公告）日: 2022-08-23
• 發明（設計）人: 吳渤;于蒙;陳聯武;溫超;蘇丹;俞棟
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/02;G10L15/16;G10L15/20;G10L21/0208
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 王娟

本發明公開了一種語音處理裝置、設備及其訓練方法，該方法包括：利用待訓練的語音提取模型，對訓練語音輸入進行語音提取，以得到目標對象語音；利用待訓練的語音識別模型，對提取出的目標對象語音進行語音識別，以得到語音識別結果；以及基于所述語音識別結果來對所述待訓練的語音提取模型和所述待訓練的語音識別模型進行聯合訓練。所述語音處理裝置結構簡單，容易擴展，大大提升了語音處理模型的識別性能和魯棒性。

技術領域

本公開涉及計算機技術領域，尤其涉及一種基于人工智能的語音處理裝置、設備及其訓練方法。

背景技術

隨著人工智能技術的飛速發展，新興起來基于人工智能的語音處理系統。例如，基于多通道的目標對象語音識別系統，整個系統由兩個獨立的子系統組成：1)前端的多通道目標對象語音增強系統，將多通道的帶噪語音增強為單通道的目標對象語音；2)后端的語音識別系統，將增強后的單通道目標對象語音識別成文字。但是，這種分離的系統存在多個問題，例如：1)前端增強后的目標對象語音會出現干擾，此類干擾會大大降低后端識別的性能；2)前端增強系統的損失函數和后端識別系統的損失函數不一致，使得前端增強不是完完全全為后端識別而服務，從而導致整個基于多通道的目標對象語音識別系統無法達到最優性能。

因此，需要一種優化的語音處理方法，其將前端增強系統和后端的語音識別系統結合起來成為一個整體，并且使整個系統都最大化地利用后端識別結果來進行訓練和優化，從而有效地提升系統的識別性能。

發明內容

本公開的實施例提供了一種語音處理系統的聯合訓練方法，包括：利用待訓練的語音提取模型，對訓練語音輸入進行語音提取，以得到目標對象語音；利用待訓練的語音識別模型，對提取出的目標對象語音進行語音識別，以得到語音識別結果；以及基于所述語音識別結果來對所述待訓練的語音提取模型和所述待訓練的語音識別模型進行聯合訓練。

根據本公開的實施例，所述聯合訓練方法還包括：設置初始語音提取模型的參數，以作為所述待訓練的語音提取模型；以及設置初始語音識別模型的參數，以作為所述待訓練的語音識別模型。

根據本公開的實施例，所述聯合訓練方法還包括：設置初始語音提取模型和初始語音識別模型的參數，利用第一語音集訓練所述語音提取模型，以作為所述待訓練的語音提取模型；以及利用第二語音集訓練所述語音識別模型，以作為所述待訓練的語音提取模型。

根據本公開的實施例，其中，所述訓練語音輸入具有其對應的參考識別結果，其中，基于所述語音識別結果來對所述待訓練的語音提取模型和所述待訓練的語音識別模型進行聯合訓練包括：基于所述訓練語音輸入的所述語音識別結果和所述參考識別結果，確定識別損失；以及根據所述識別損失，聯合訓練所述待訓練的語音提取模型和所述待訓練的語音識別模型。

根據本公開的實施例，其中，根據所述識別損失，聯合訓練所述待訓練的語音提取模型和所述待訓練的語音識別模型包括：調整所述語音提取模型和所述語音識別模型的參數，使得所述識別損失最小化。

本公開的實施例提供了一種語音處理方法，包括：獲取語音輸入；基于語音提取模型，對所述語音輸入進行語音提取，以得到目標對象語音；和基于語音識別模型，對提取出的目標對象語音進行語音識別，以得到語音識別結果；其中，所述語音提取模型和所述語音識別模型是基于單個損失函數聯合訓練的，并且所述損失函數是基于訓練語音的語音識別結果確定的。

根據本公開的實施例，其中，對所述語音輸入進行語音提取以得到目標對象語音包括：提取所述語音輸入的幅度譜；根據所述語音輸入的幅度譜獲取目標對象語音掩碼；基于所述語音輸入的幅度譜及所述目標對象語音掩碼獲取目標對象語音的幅度譜；以及基于目標對象語音的幅度譜提取目標對象語音；其中，對提取出的目標對象語音進行語音識別以得到語音識別結果包括：將目標對象語音劃分為多個目標對象語音幀；對于每個目標對象語音幀，提取該目標對象語音幀的語音特征；對該目標對象語音幀的語音特征進行幀擴展；以及基于該目標對象語音幀的幀擴展后的語音特征識別該目標對象語音幀對應的音素。