[發明專利]用于訓練混合語言識別模型的方法和裝置

有效

• 申請號: 201911075308.1
• 申請日: 2019-11-06
• 公開（公告）號: CN110808035B
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 袁勝龍
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/08
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本申請實施例公開了用于訓練混合語言識別模型的方法和裝置。該方法的一具體實施方式包括：生成第一語言音頻的第一音節標簽序列和第二語言音頻的第二音節標簽序列；利用預先訓練的第一語言識別模型對第二語言音頻和第二音節標簽序列進行處理，得到連接時序分類維特比序列；基于連接時序分類維特比序列，確定第二音節標簽序列中的每種第二音節標簽的連接時序分類維特比得分；基于所確定出的連接時序分類維特比得分，從第二音節標簽序列中確定差異音節標簽；基于第一音節標簽序列和差異音節標簽對深層神經網絡進行混合訓練，得到混合語言識別模型。該實施方式實現了同一個模型支持多種語言的識別。

技術領域

本申請實施例涉及計算機技術領域，具體涉及用于訓練混合語言識別模型的方法和裝置。

背景技術

隨著語音識別技術的發展，語音識別的性能已滿足實用，比如手機上的各種輸入法都帶有語音交互功能。而在實際應用中，除了普通話場景的語音識別外，還存在方言場景的語音識別。目前已有許多支持方言語音識別的語音交互產品，比如手機輸入法上語音識別可選項，用戶可以根據需要選擇對應的方言，再比如一些針對特定方言制定的智能電視、智能冰箱等。

相關技術中，通常采用普通話識別模型對普通話進行語音識別，采用相應的方言識別模型對方言進行語音識別，而在用戶在切換語言時，需要來回選擇相應的語音識別模型，操作繁瑣。并且，隨著支持的方言越來越多，需要訓練的方言識別模型的數量的越來越多，導致模型訓練工作量較高。

發明內容

本申請實施例提出了用于訓練混合語言識別模型的方法和裝置。

第一方面，本申請實施例提出了一種用于訓練混合語言識別模型的方法，包括：生成第一語言音頻的第一音節標簽序列和第二語言音頻的第二音節標簽序列；利用預先訓練的第一語言識別模型對第二語言音頻和第二音節標簽序列進行處理，得到連接時序分類維特比序列，其中，第一語言識別模型是基于第一音節標簽序列訓練得到的；基于連接時序分類維特比序列，確定第二音節標簽序列中的每種第二音節標簽的連接時序分類維特比得分；基于所確定出的連接時序分類維特比得分，從第二音節標簽序列中確定差異音節標簽；基于第一音節標簽序列和差異音節標簽對深層神經網絡進行混合訓練，得到混合語言識別模型。

在一些實施例中，生成第一語言音頻的第一音節標簽序列，包括：提取第一語言音頻的梅爾頻率倒譜系數特征；基于梅爾頻率倒譜系數特征和第一語言音頻對應的文本對高斯混合模型進行訓練，得到對齊高斯混合模型和第一音節標簽序列。

在一些實施例中，生成第二語言音頻的第二音節標簽序列，包括：將第二語言音頻輸入至對齊高斯混合模型，得到第二音節標簽序列，其中，第二音節標簽序列的標簽數等于第一音節標簽序列的標簽數。

在一些實施例中，利用預先訓練的第一語言識別模型對第二語言音頻和第二音節標簽序列進行處理，得到連接時序分類維特比序列，包括：對第二音節標簽序列去重，得到去重音節標簽序列；對去重音節標簽序列去靜音幀，得到有效音節標簽序列；對有效音節標簽序列插入空格，得到插空音節標簽序列；將第二語言音頻和插空音節標簽序列輸入至第一語言識別模型，得到連接時序分類維特比序列。

在一些實施例中，基于連接時序分類維特比序列，確定第二音節標簽序列中的每種第二音節標簽的連接時序分類維特比得分，包括：對于有效音節標簽序列中的每種有效音節標簽，基于該有效音節標簽在連接時序分類維特比序列中的位置，確定該有效音節標簽的連接時序分類維特比得分。

在一些實施例中，基于所確定出的連接時序分類維特比得分，從第二音節標簽序列中確定差異音節標簽，包括：將有效音節標簽序列中連接時序分類維特比得分小于預設閾值的有效音節標簽確定為差異音節標簽。

在一些實施例中，第一語言識別模型通過如下步驟訓練得到：提取第一語言音頻的濾波器組系數特征；基于濾波器組系數特征和第一音節標簽序列對深層神經網絡進行訓練，得到第一語言識別模型，其中，第一語言識別模型的輸出層的節點數等于第一音節標簽序列的標簽數。