[發明專利]多語言混雜模型建立、數據獲取方法及裝置、電子設備

有效

• 申請號: 201710230061.0
• 申請日: 2017-04-10
• 公開（公告）號: CN108711420B
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 白錦峰;賈磊
• 申請（專利權）人: 北京獵戶星空科技有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/08;G10L15/16;G10L25/30;G10L13/08;G10L13/10
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 項京;馬敬

1.一種多語言混雜語音識別系統建立方法，其特征在于，所述方法包括：

根據多語言所包含的語音單元確定聲學模型的建模單元，基于深度神經網絡，構建聲學模型；其中，所述建模單元為上下文無關的語音單元；

獲取多語言混雜的語音訓練數據，將所述多語言混雜的語音訓練數據中的混雜語音信號轉化成特征向量序列，將所述混雜語音信號對應的混雜標注文本轉化成基于所述聲學模型的建模單元的混雜標簽序列；

使用所述特征向量序列和所述混雜標簽序列，訓練所述聲學模型；

獲取多語言混雜的語料數據，訓練語言模型；

根據所述聲學模型和所述語言模型，建立多語音混雜的語音識別系統；

其中，所述獲取多語言混雜的語音訓練數據的步驟，包括：獲取各語言的語音訓練數據；對各語言的語音訓練數據中第一語言的語音信號與其他語言的語音信號進行單詞級別的對齊；將所述第一語言的語音訓練數據和所述其他語言的語音訓練數據進行單詞級別的交換混雜，獲得多語言混雜的語音訓練數據；其中，所述交換混雜包括：語音信號的混雜和對應的標注文本的混雜；

其中，所述將所述第一語言的語音訓練數據和所述其他語言的語音訓練數據進行單詞級別的交換混雜的步驟，包括：將所述第一語言的語音訓練數據中單詞的語音信號替換成對齊的所述其他語言的語音訓練數據中單詞的語音信號；將所述第一語言的語音訓練數據中單詞的語音信號對應的標注文本替換成對齊的所述其他語言的語音訓練數據中單詞的語音信號對應的標注文本。

2.根據權利要求1所述的方法，其特征在于，所述語音單元包括：音節和/或單詞。

3.根據權利要求1所述的方法，其特征在于，所述根據多語言所包含的語音單元確定聲學模型的建模單元的步驟，包括：

將多語言所包含的語音單元的合集作為聲學模型的建模單元；或者

合并所述多語言中發音相近的語音單元，將合并后獲得的語音單元以及所述多語言中未合并的語音單元的合集作為聲學模型的建模單元。

4.根據權利要求1所述的方法，其特征在于，所述使用所述特征向量序列和所述混雜標簽序列，訓練所述聲學模型的步驟，包括：

根據連接時序分類準則對所述混雜標簽序列進行變換；

使用所述特征向量序列和變換后的所述混雜標簽序列，訓練所述聲學模型。

5.根據權利要求4所述的方法，其特征在于，在所述使用所述特征向量序列和變換后的所述混雜標簽序列，訓練所述聲學模型的步驟之前，所述方法還包括：

使用特征向量與建模單元標簽強制對齊的多語言混雜的語音訓練數據，對所述聲學模型進行交叉熵訓練。

6.根據權利要求4所述的方法，其特征在于，在所述使用所述特征向量序列和變換后的所述混雜標簽序列，訓練所述聲學模型到的步驟之后，所述方法還包括：

使用所述特征向量序列和所述混雜標注文本，對所述聲學模型進行區分度訓練。

7.根據權利要求1所述的方法，其特征在于，所述獲取多語言混雜的語料數據的步驟，包括：

識別第一語言的語料數據中的短語；

基于所述第一語言和其他語言之間的平行語料庫，將所述第一語言的語料數據中的短語替換為從所述平行語料庫中匹配到的所述其他語言的短語，獲得多語言混雜的語料數據。

8.根據權利要求7所述的方法，其特征在于，所述方法還包括：

基于所述第一語言和所述其他語言之間的平行語料庫，獲取所述第一語言和所述其他語言匹配的短語；

將所述第一語言的短語和匹配的所述其他語言的短語對應存儲至短語對齊庫；

所述基于所述第一語言和其他語言之間的平行語料庫，將所述第一語言的語料數據中的短語替換為從所述平行語料庫中匹配到的所述其他語言的短語，獲得多語言混雜的語料數據的步驟，包括：

基于所述第一語言和其他語言之間的短語對齊庫，將所述第一語言的語料數據中的短語替換為從所述短語對齊庫中匹配到的所述其他語言的短語，獲得多語言混雜的語料數據。