[發明專利]基于拼音約束聯合學習的漢語語音識別方法

在審

• 申請號: 202010988154.1
• 申請日: 2020-09-18
• 公開（公告）號: CN112349288A
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 余正濤;梁仁鳳;王振晗;朱俊國;高盛祥;毛存禮
• 申請（專利權）人: 昆明理工大學
• 主分類號: G10L15/26
• 分類號: G10L15/26;G10L15/187;G06N3/08;G06N3/04
• 代理公司: 昆明人從眾知識產權代理有限公司 53204
• 代理人: 何嬌

1.基于拼音約束聯合學習的漢語語音識別方法，其特征在于：所述方法包括：

Step1、收集與語音、漢字文本相對應的拼音文本；

Step2、通過共享編碼器對語音特征編碼；

Step3、拼音語音識別：在解碼過程中利用拼音作為解碼約束；

Step4、基于共享編碼器將拼音語音識別語漢語語音識別聯合學習進行漢字識別。

2.根據權利要求1所述的基于拼音約束聯合學習的漢語語音識別方法，其特征在于：所述步驟Step1的具體步驟為：

Step1.1、在公開中文訓練集中，收集與語音、漢語文本對應的拼音文本時，采用漢字轉換拼音模型Pinyin2Hanzi進行轉換，再根據音頻索引編寫處理語料小程序，得到語音、漢語文本、拼音文本兩兩對應的平行語料。

3.根據權利要求1所述的基于拼音約束聯合學習的漢語語音識別方法，其特征在于：所述步驟Step2的具體步驟為：

Step2.1、共享編碼器采用4層的卷積網絡和5層的雙向LSTM，雙向LSTM每個方向有512個隱狀態單元，在模型訓練時，能同時感知到拼音、漢字的監督信號、從而引入一種更接近漢語語音的歸納偏置。

4.根據權利要求1所述的基于拼音約束聯合學習的漢語語音識別方法，其特征在于：所述步驟Step3的具體步驟為：

Step3.1、在解碼過程中，拼音語音識別解碼器基于共享編碼器的輸出狀態，以上一時刻的輸出和當前時刻的上下文向量作為當前時刻的輸入進行解碼，輸出拼音。

5.根據權利要求1所述的基于拼音約束聯合學習的漢語語音識別方法，其特征在于：所述步驟Step4的具體步驟為：

Step4.1、在多任務學習框架下，以拼音語音識別為輔助任務，以漢語語音識別為主要任務，共享一個編碼器，拼音語音識別和漢語語音識別分別有一個解碼器，訓練時，模型的交叉熵是兩個解碼器分別計算損失后正則求和；反向傳播時，編碼器的參數被兩個任務同時更新，兩個任務共同促進的效果。