[發明專利]語音處理裝置、設備及其訓練方法

有效

• 申請號: 202010042843.3
• 申請日: 2020-01-15
• 公開（公告）號: CN111261145B
• 公開（公告）日: 2022-08-23
• 發明（設計）人: 吳渤;于蒙;陳聯武;溫超;蘇丹;俞棟
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/02;G10L15/16;G10L15/20;G10L21/0208
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 王娟

1.一種語音處理系統的聯合訓練方法，包括：

利用待訓練的語音提取模型，對訓練語音輸入進行語音提取，以得到目標對象語音；

利用待訓練的語音識別模型，對提取出的目標對象語音進行語音識別，以得到語音識別結果；以及

基于所述語音識別結果來對所述待訓練的語音提取模型和所述待訓練的語音識別模型進行聯合訓練，其中，所述聯合訓練是基于單個損失函數的，所述單個損失函數是基于所述語音識別結果確定的。

2.如權利要求1所述的聯合訓練方法，還包括：

設置初始語音提取模型的參數，以作為所述待訓練的語音提取模型；以及

設置初始語音識別模型的參數，以作為所述待訓練的語音識別模型。

3.如權利要求1所述的聯合訓練方法，還包括：

設置初始語音提取模型和初始語音識別模型的參數，

利用第一語音集訓練所述語音提取模型，以作為所述待訓練的語音提取模型；以及

利用第二語音集訓練所述語音識別模型，以作為所述待訓練的語音識別模型。

4.如權利要求1所述的聯合訓練方法，其中，所述訓練語音輸入具有其對應的參考識別結果，

其中，基于所述語音識別結果來對所述待訓練的語音提取模型和所述待訓練的語音識別模型進行聯合訓練包括：

基于所述訓練語音輸入的所述語音識別結果和所述參考識別結果，確定識別損失；以及

根據所述識別損失，聯合訓練所述待訓練的語音提取模型和所述待訓練的語音識別模型。

5.如權利要求4所述的聯合訓練方法，其中，根據所述識別損失，聯合訓練所述待訓練的語音提取模型和所述待訓練的語音識別模型包括：

調整所述待訓練的語音提取模型和所述待訓練的語音識別模型的參數，使得所述識別損失最小化。

6.一種語音處理方法，包括：

獲取語音輸入；

基于語音提取模型，對所述語音輸入進行語音提取，以得到目標對象語音；和

基于語音識別模型，對提取出的目標對象語音進行語音識別，以得到語音識別結果；

其中，所述語音提取模型和所述語音識別模型是基于單個損失函數聯合訓練的，并且所述損失函數是基于訓練語音的語音識別結果確定的。

7.如權利要求6所述的語音處理方法，其中，對所述語音輸入進行語音提取，以得到目標對象語音包括：

提取所述語音輸入的幅度譜；

根據所述語音輸入的幅度譜獲取目標對象語音掩碼；

基于所述語音輸入的幅度譜及所述目標對象語音掩碼獲取目標對象語音的幅度譜；以及

基于目標對象語音的幅度譜提取目標對象語音。

8.如權利要求6所述的語音處理方法，其中，對提取出的目標對象語音進行語音識別，以得到語音識別結果包括：

將目標對象語音劃分為多個目標對象語音幀；

對于每個目標對象語音幀，

提取該目標對象語音幀的語音特征；

對該目標對象語音幀的語音特征進行幀擴展；以及

基于該目標對象語音幀的幀擴展后的語音特征識別該目標對象語音幀對應的音素。

9.如權利要求8所述的語音處理方法，其中，基于該目標對象語音幀的幀擴展后的語音特征識別該目標對象語音幀對應的音素包括：

基于該目標對象語音幀的幀擴展后的語音特征，預測該目標對象語音幀屬于預先建立的音素集中的每一個音素的后驗概率；以及

將預測出的后驗概率最大的音素作為該目標對象語音幀對應的音素。