[發明專利]用于語音識別和語種分類的混合模型的訓練方法及系統

在審

• 申請號: 202010739233.9
• 申請日: 2020-07-28
• 公開（公告）號: CN111833844A
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 陸一帆;錢彥旻;朱森;陳夢姣
• 申請（專利權）人: 蘇州思必馳信息科技有限公司
• 主分類號: G10L15/00
• 分類號: G10L15/00;G10L15/02;G10L15/06;G10L15/16;G10L15/26;G10L25/18;G10L25/24
• 代理公司: 北京商專永信知識產權代理事務所(普通合伙) 11400
• 代理人: 黃謙;車江華

本發明實施例提供一種用于語音識別和語種分類的混合模型的訓練方法。該方法包括：對帶有文本標注、語種標注的混合訓練音頻數據進行特征提取和數據對齊，確定訓練用的輸入數據；將訓練用的輸入數據輸入至N層中間層，基于語音識別層輸出的語音識別結果和文本標注，進行語音識別訓練，訓練N層中間層和語音識別層的神經網絡參數；在語音識別訓練完成后，基于語種分類層輸出的語種分類結果和語種標注，僅訓練語種分類層的神經網絡參數，完成語種分類訓練。本發明實施例還提供一種用于語音識別和語種分類的混合模型的訓練系統。本發明實施例將語音識別和語種分類進行合并，簡化了系統結構，節省了訓練的成本，提升了混合模型整體的系統性能。

技術領域

本發明涉及語音識別領域，尤其涉及一種用于語音識別和語種分類的混合模型的訓練方法及系統。

背景技術

對于多語種的語音識別，通常會根據已有的方言和普通話音頻，采用神經網絡的方式訓練單獨的方言和普通話語音識別(ASR)模塊以及語種識別模塊。對于送入系統的音頻，需要先經過語種識別模塊，判斷是屬于哪種語言，然后調用相應的語音識別(ASR)模塊，將聲音轉換成文字，然后和其他模塊進行交互(如語義理解、語音合成等)。

在實現本發明過程中，發明人發現相關技術中至少存在如下問題：

(1)訓練和部署成本大

需要單獨準備方言和普通話的語音識別(ASR)模塊以及語種識別等多個模塊，訓練模型多且耗時長，并且上線時需要部署多個ASR資源，占用資源多，導致訓練和部署成本很高。

(2)模塊間相互依賴，性能相互影響

語種識別的正確率會影響后續語音識別的性能，導致對語種模塊的要求比較高，在語種識別錯誤的情況下，語音識別的性能大概率會很差，進而影響識別后其他模塊的準確率。

(3)可集成性差

單純一個ASR模塊或者語種模塊，很難成為一個真正可用的產品，大多數都需要和其他模型(如語義理解、語音合成、對話系統等)共同配合，才能構成一個可用的產品，而這些模型很多時候都同時需要識別文本和語種信息，但上述系統是串行的結構，無法同時輸出識別文本和語種信息，進而無法滿足這個需求，導致可集成性比較差。

發明內容

為了至少解決現有技術中訓練和部署成本大、模塊間相互依賴，性能相互影響、可集成性差的問題。

第一方面，本發明實施例提供一種用于語音識別和語種分類的混合模型的訓練方法，其中所述混合模型為具有N層中間層的深度神經網絡結構，并且第N層中間層分叉出語音識別層和語種分類層，所述語音識別層輸出語音識別結果，所述語種分類層輸出語種分類結果，所述訓練方法包括：

對帶有文本標注、語種標注的混合訓練音頻數據進行特征提取和數據對齊，確定訓練用的輸入數據；

將所述訓練用的輸入數據輸入至所述N層中間層，基于所述語音識別層輸出的語音識別結果和所述文本標注，進行語音識別訓練，訓練所述N層中間層和所述語音識別層的神經網絡參數；

在所述語音識別訓練完成后，基于所述語種分類層輸出的語種分類結果和所述語種標注，僅訓練所述語種分類層的神經網絡參數，完成所述語種分類訓練。

第二方面，本發明實施例提供一種用于語音識別和語種分類的混合模型的訓練系統，其中所述混合模型為具有N層中間層的深度神經網絡結構，并且第N層中間層分叉出語音識別層和語種分類層，所述語音識別層輸出語音識別結果，所述語種分類層輸出語種分類結果，所述訓練系統包括：

輸入數據確定程序模塊，用于對帶有文本標注、語種標注的混合訓練音頻數據進行特征提取和數據對齊，確定訓練用的輸入數據；