[發明專利]用于語音識別和語種分類的混合模型的訓練方法及系統

在審

• 申請號: 202010739233.9
• 申請日: 2020-07-28
• 公開（公告）號: CN111833844A
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 陸一帆;錢彥旻;朱森;陳夢姣
• 申請（專利權）人: 蘇州思必馳信息科技有限公司
• 主分類號: G10L15/00
• 分類號: G10L15/00;G10L15/02;G10L15/06;G10L15/16;G10L15/26;G10L25/18;G10L25/24
• 代理公司: 北京商專永信知識產權代理事務所(普通合伙) 11400
• 代理人: 黃謙;車江華

1.一種用于語音識別和語種分類的混合模型的訓練方法，其中所述混合模型為具有N層中間層的深度神經網絡結構，并且第N層中間層分叉出語音識別層和語種分類層，所述語音識別層輸出語音識別結果，所述語種分類層輸出語種分類結果，所述訓練方法包括：

對帶有文本標注、語種標注的混合訓練音頻數據進行特征提取和數據對齊，確定訓練用的輸入數據；

將所述訓練用的輸入數據輸入至所述N層中間層，基于所述語音識別層輸出的語音識別結果和所述文本標注，進行語音識別訓練，訓練所述N層中間層和所述語音識別層的神經網絡參數；

在所述語音識別訓練完成后，基于所述語種分類層輸出的語種分類結果和所述語種標注，僅訓練所述語種分類層的神經網絡參數，完成所述語種分類訓練。

2.根據權利要求1所述的方法，其中，所述對帶有文本標注、語種標注的混合訓練音頻數據進行特征提取和數據對齊，確定訓練用的輸入數據包括：

對帶有文本標注、語種標注的混合訓練音頻進行特征提取，確定所述混合訓練音頻內每一幀m維的FBANK特征以及梅爾倒譜系數特征，其中，所述混合訓練音頻包括多語種的音頻，所述語種包括普通話和方言；

對所述混合訓練音頻以及所述每一幀m維的梅爾倒譜系數特征進行有監督訓練，確定每一幀的數據對齊。

3.根據權利要求1所述的方法，其中，所述基于所述語種分類層輸出的語種分類結果和所述語種標注，僅訓練所述語種分類層的神經網絡參數包括：

基于交叉熵訓練準則，利用極大似然估計對每一幀的數據對齊進行分類優化，使所述語種分類結果向所述語種標注更新。

4.根據權利要求1所述的方法，其中，所述對帶有文本標注、語種標注的混合訓練音頻數據進行特征提取包括：

使用幀長25ms、幀移10ms的窗對所述混合訓練音頻數據進行分幀，確定所述混合訓練音頻數據內每一幀m維的FBANK特征以及梅爾倒譜系數特征。

5.根據權利要求1所述的方法，其中，所述N層中間層的結構至少包括：深度神經網絡、長短期記憶神經網絡、前饋型序列記憶網絡。

6.一種用于語音識別和語種分類的混合模型的訓練系統，其中所述混合模型為具有N層中間層的深度神經網絡結構，并且第N層中間層分叉出語音識別層和語種分類層，所述語音識別層輸出語音識別結果，所述語種分類層輸出語種分類結果，所述訓練系統包括：

輸入數據確定程序模塊，用于對帶有文本標注、語種標注的混合訓練音頻數據進行特征提取和數據對齊，確定訓練用的輸入數據；

輸出程序模塊，用于將所述訓練用的輸入數據輸入至所述N層中間層，基于所述語音識別層輸出的語音識別結果和所述文本標注，進行語音識別訓練，訓練所述N層中間層和所述語音識別層的神經網絡參數；

訓練程序模塊，用于在所述語音識別訓練完成后，基于所述語種分類層輸出的語種分類結果和所述語種標注，僅訓練所述語種分類層的神經網絡參數，完成所述語種分類訓練。

7.根據權利要求6所述的系統，其中，所述輸入數據確定程序模塊用于：

對帶有文本標注、語種標注的混合訓練音頻進行特征提取，確定所述混合訓練音頻內每一幀m維的FBANK特征以及梅爾倒譜系數特征，其中，所述混合訓練音頻包括多語種的音頻，所述語種包括普通話和方言；

對所述混合訓練音頻以及所述每一幀m維的梅爾倒譜系數特征進行有監督訓練，確定每一幀的數據對齊。

8.根據權利要求6所述的系統，其中，所述訓練程序模塊用于：

基于交叉熵訓練準則，利用極大似然估計對每一幀的數據對齊進行分類優化，使所述語種分類結果向所述語種標注更新。

9.根據權利要求6所述的系統，其中，所述輸入數據確定程序模塊用于：

使用幀長25ms、幀移10ms的窗對所述混合訓練音頻數據進行分幀，確定所述混合訓練音頻數據內每一幀m維的FBANK特征以及梅爾倒譜系數特征。

10.根據權利要求6所述的系統，其中，所述N層中間層的結構至少包括：深度神經網絡、長短期記憶神經網絡、前饋型序列記憶網絡。