[發明專利]基于中英文混合詞典的語音識別方法及裝置

有效

• 申請號: 201710309321.3
• 申請日: 2017-05-04
• 公開（公告）號: CN107301860B
• 公開（公告）日: 2020-06-23
• 發明（設計）人: 李先剛;張雪薇
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/16;G10L15/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 宋合成

1.一種基于中英文混合詞典的語音識別方法，其特征在于，包括：

獲取國際音標IPA標注的中英文混合詞典，所述中英文混合詞典包括：中文詞典和經過中式英語修正的英文詞典；

將所述中英文混合詞典作為訓練詞典，以一層卷積神經網絡CNN加上五層時間遞歸神經網絡LSTM為模型，以音節或詞為目標，以聯結主義時間分類器CTC為訓練準則對所述模型進行訓練，得到訓練后的CTC聲學模型；

結合訓練后的CTC聲學模型對中英文混合語言進行語音識別；

所述將所述中英文混合詞典作為訓練詞典，以一層卷積神經網絡CNN加上五層時間遞歸神經網絡LSTM為模型，以音節或詞為目標，以聯結主義時間分類器CTC為訓練準則對所述模型進行訓練，得到訓練后的CTC聲學模型，包括：

采用濾波器組FBANK提取中式英語句子中的特征點，以一層卷積神經網絡CNN加上五層時間遞歸神經網絡LSTM為模型，以中式英語句子對應的對齊文件為目標，以交叉熵CE為訓練準則，對所述模型進行訓練，得到初始模型；所述中式英語句子為，既包括漢字又包括英文單詞的句子；所述對齊文件包括：中式英語句子中每個音素的位置，以及英文單詞所對應的音素；

將所述中英文混合詞典作為訓練詞典，以所述初始模型為模型，以音節或詞為目標，以聯結主義時間分類器CTC為訓練準則對所述初始模型進行訓練，得到訓練后的CTC聲學模型。

2.根據權利要求1所述的方法，其特征在于，所述獲取國際音標IPA標注的中英文混合詞典，包括：

獲取國際音標IPA標注的中文詞典以及IPA標注的英文詞典；

獲取音頻訓練數據，所述音頻訓練數據中包括：多個中式英語句子；

獲取所述中式英語句子中的英文單詞以及英文單詞對應的中式發音；

將所述英文單詞以及英文單詞對應的中式發音添加到所述英文詞典中，得到經過中式英語修正的英文詞典。

3.根據權利要求1所述的方法，其特征在于，所述獲取國際音標IPA標注的中英文混合詞典，包括：

獲取國際音標IPA標注的中文詞典以及IPA標注的英文詞典；

獲取音頻訓練數據，所述音頻訓練數據中包括：多個中式英語句子；

結合IPA標注的英文詞典對所述中式英語句子進行音素解碼以及對齊文件切分，得到所述中式英語句子中的英文單詞以及英文單詞對應的中式發音；

結合所述中式英語句子中的英文單詞、英文單詞對應的中式發音以及IPA標注的英文詞典，生成經過中式英語修正的英文詞典。

4.根據權利要求3所述的方法，其特征在于，所述結合IPA標注的英文詞典對所述中式英語句子進行音素解碼以及對齊文件切分，得到所述中式英語句子中的英文單詞以及英文單詞對應的中式發音，包括：

結合IPA標注的英文詞典對所述中式英語句子進行音素解碼，找到解碼中的最優路徑，獲取所述中式英語句子中音素對應的幀位置；

獲取所述中式英語句子對應的對齊文件，所述對齊文件中包括：中式英語句子中每個音素的位置，以及英文單詞所對應的音素；

結合所述對齊文件以及所述中式英語句子中音素對應的幀位置，確定所述中式英語句子中每個英文單詞的位置，進行切分，得到所述中式英語句子中的英文單詞以及英文單詞對應的中式發音。

5.根據權利要求3或4所述的方法，其特征在于，結合所述中式英語句子中的英文單詞、英文單詞對應的中式發音以及IPA標注的英文詞典，生成經過中式英語修正的英文詞典之前，還包括：

針對所述中式英語句子中的每個英文單詞，獲取所述英文單詞中每個音素的詞頻；

獲取對應的詞頻大于預設詞頻的高頻音素以及包括所述高頻音素的高頻英文單詞；

結合所述中式英語句子中的英文單詞、英文單詞對應的中式發音以及IPA標注的英文詞典，生成經過中式英語修正的英文詞典，包括：

結合所述中式英語句子中的高頻英文單詞、高頻英文單詞對應的中式發音以及IPA標注的英文詞典，生成經過中式英語修正的英文詞典。