[發明專利]基于中英文混合詞典的語音識別方法及裝置

有效

• 申請號: 201710309321.3
• 申請日: 2017-05-04
• 公開（公告）號: CN107301860B
• 公開（公告）日: 2020-06-23
• 發明（設計）人: 李先剛;張雪薇
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/16;G10L15/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 宋合成

本發明提出一種基于中英文混合詞典的語音識別方法及裝置，其中，方法包括：獲取國際音標IPA標注的中英文混合詞典，中英文混合詞典包括：中文詞典和經過中式英語修正的英文詞典；將中英文混合詞典作為訓練詞典，以一層卷積神經網絡CNN加上五層時間遞歸神經網絡LSTM為模型，以音節或詞為目標，以聯結主義時間分類器CTC為訓練準則對模型進行訓練，得到訓練后的CTC聲學模型；結合訓練后的CTC聲學模型對中英文混合語言進行語音識別。本實施例中，采用包括中文詞典和經過中式英語修正的英文詞典的中英文混合詞典進行訓練，其中英文單詞覆蓋全面且能識別中式英文，結合CTC聲學模型的使用進一步提高了中英文混合語言識別的準確度。

技術領域

本發明涉及語音識別技術領域，尤其涉及一種基于中英文混合詞典的語音識別方法及裝置。

背景技術

目前，隨著生活的全球化，使用混合語言交流的現象已經成為一種普遍現象。據統計，講多語言的人要多于講單語言的人?；旌险Z言之間的聲學和語言之間的復雜性給語音識別帶來挑戰。因此，混合語言聲學模型的研究是一個重要的研究方向。

混合語音識別技術是指利用中英文混合詞典，對混合語言聲學模型進行訓練，得到語音識別模型。目前，中英文混合詞典的獲取方式是，獲取包括聲韻母標注的音素集的中文詞典，將一些英文按照聲韻母標注的方式加入到中文詞典中，形成中英文混合詞典。其中，英文單詞標注覆蓋不全面，采用人工標注，費時費力。混合語言聲學模型為深度神經網絡(Deep Neural Networks,DNN)DNN，卷積神經網絡(deep convolutional neuralnetworks，CNN)，時間遞歸神經網絡(Long Short-Term Memory，LSTM)聲學模型等，準確度不夠高。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的第一個目的在于提出一種基于中英文混合詞典的語音識別方法，用于解決現有技術中語音識別準確度低的問題。

本發明的第二個目的在于提出一種基于中英文混合詞典的語音識別裝置。

本發明的第三個目的在于提出另一種基于中英文混合詞典的語音識別裝置。

本發明的第四個目的在于提出一種非臨時性計算機可讀存儲介質。

本發明的第五個目的在于提出一種計算機程序產品。

為達上述目的，本發明第一方面實施例提出了一種基于中英文混合詞典的語音識別方法，包括：

獲取國際音標IPA標注的中英文混合詞典，所述中英文混合詞典包括：中文詞典和經過中式英語修正的英文詞典；

將所述中英文混合詞典作為訓練詞典，以一層卷積神經網絡CNN加上五層時間遞歸神經網絡LSTM為模型，以音節或詞為目標，以聯結主義時間分類器CTC為訓練準則對所述模型進行訓練，得到訓練后的CTC聲學模型；

結合訓練后的CTC聲學模型對中英文混合語言進行語音識別。

本發明實施例的基于中英文混合詞典的語音識別方法，通過獲取國際音標IPA標注的中英文混合詞典，中英文混合詞典包括：中文詞典和經過中式英語修正的英文詞典；將中英文混合詞典作為訓練詞典，以一層卷積神經網絡CNN加上五層時間遞歸神經網絡LSTM為模型，以音節或詞為目標，以聯結主義時間分類器CTC為訓練準則對所述模型進行訓練，得到訓練后的CTC聲學模型；結合訓練后的CTC聲學模型對中英文混合語言進行語音識別。本實施例中，采用包括中文詞典和經過中式英語修正的英文詞典的中英文混合詞典進行訓練，其中英文單詞覆蓋全面且能識別中式英文，結合CTC聲學模型的使用進一步提高了中英文混合語言識別的準確度。

為達上述目的，本發明第二方面實施例提出了一種基于中英文混合詞典的語音識別裝置，包括：