[發明專利]一種中英文混合語音識別方法及裝置

有效

• 申請號: 201910780880.1
• 申請日: 2019-08-22
• 公開（公告）號: CN110675854B
• 公開（公告）日: 2022-10-28
• 發明（設計）人: 張廣學;肖龍源;蔡振華;李稀敏;劉曉葳;王靜
• 申請（專利權）人: 廈門快商通科技股份有限公司
• 主分類號: G10L15/00
• 分類號: G10L15/00;G10L15/02;G10L15/06;G10L15/26
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種中英文混合語音識別方法，其特征在于，包括：獲取中英文混合詞典，所述中英文混合詞典包括：訓練文本，基于“漢字-拼音”和“拼音-音素”的結構，對訓練文本中的英文表達、中英文表達生成音素規則；

將所述中英文混合詞典作為訓練詞典，進行語音模型訓練，得到訓練后的語言模型，訓練語料，對語料提取語音特征，基于語音特征采用時延神經網絡進行聲學模型訓練，得到訓練后的聲學模型；

結合所述訓練后的聲學模型和所述訓練后的語言模型對中英文混合語音進行語音識別；

基于“漢字-拼音”和“拼音-音素”的結構，對訓練文本中的英文表達、中英文表達生成音素規則，就英文音素來說，首先構建輔音-元音-輔音的結構，以及輔音-元音的結構，其中，“輔-元-輔”，即為：輔音-元音-輔音的結構，“輔-元”即為：輔音-元音的結構，再基于“漢字-拼音”和“拼音-音素”的結構，生成音素規則；

相對應的，就英文對應的“拼音”來說，對受中文發音影響的英文，在進行“拼音”標注時，采用相對應的中文標注；對中英文發音相似的音素，標注為中文音素，并進行特殊標記，以區別于不受中文發音影響的英文，對其他不受中文發音影響的英文，則對其“拼音”采用其他標注符號；

進行中英文混合語音識別前，還需要訓練與語料對應的文本，對文本中的英文表達、中英文表達，基于“漢字-拼音”和“拼音-音素”的結構，生成音素規則，形成中英文混合詞典，在基于“漢字-拼音”和“拼音-音素”的結構，生成音素規則的過程中，不僅對受中文發音影響的英文，采用相對應的中文標注，還對中英文發音相似的音素，標注為中文音素，并進行特殊標記，以區別與不受中文發音影響的英文；再基于中英文混合詞典進行語音模型訓練，得到訓練后的語言模型，以此對文本、中英文混合詞典以及語言模型建立關聯，進而完成語料、語音特征、聲學模型、語言模型、中英文混合詞典、語料對應的文本之間建立關聯；

在進行中英文混合語音識別時，對中英文混合語音進行語音特征提取，再基于提取到的語音特征獲取與之匹配的聲學模型，根據聲學模型獲取對應的語言模型，基于語言模型查找對應的中英文混合詞典，根據中英文混合詞典查找與該語音特征對應的文本，輸出文本，完成中英文混合語音識別。

2.如權利要求1所述的方法，其特征在于，

所述訓練語料，包括，基于自定義數據集以及公開數據進行訓練得到語料。

3.如權利要求1所述的方法，其特征在于，

所述訓練文本，包括：收集生活中的對話、寫作、專有名詞中的中文表達、中英文表達以及英文表達方式。

4.如權利要求1所述的方法，其特征在于，所述基于“漢字-拼音”和“拼音-音素”的結構，對訓練文本中的英文表達、中英文表達生成音素規則，包括：對所述訓練文本中的英文表達、中英文表達中的英文音素構建：輔音-元音-輔音的結構，以及輔音-元音的結構，然后，基于“漢字-拼音”和“拼音-音素”的結構生成音素規則。

5.如權利要求1所述的方法，其特征在于，所述基于“漢字-拼音”和“拼音-音素”的結構，對訓練文本中的英文表達、中英文表達生成音素規則時，還包括：對受中文發音影響的英文，采用相對應的中文標注。

6.如權利要求1所述的方法，其特征在于，

所述方法還包括：對中英文發音相似的音素，標注為中文音素，并進行特殊標記，以區別與不受中文發音影響的英文。

7.如權利要求1所述的方法，其特征在于，

所述基于語料采用時延神經網絡進行聲學模型訓練之前，包括：將所述時延神經網絡的延時參數設置為大于等于3，小于等于5；

所述時延神經網絡對每幀音頻提取13維語音特征。