[發明專利]基于語義場景的語音識別方法、裝置、設備及介質

在審

• 申請號: 202111424102.2
• 申請日: 2021-11-26
• 公開（公告）號: CN114038453A
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 廖晨;陳誠;呂少嶺;楊雨杭
• 申請（專利權）人: 深圳市北科瑞聲科技股份有限公司
• 主分類號: G10L15/02
• 分類號: G10L15/02;G10L15/18;G10L15/22;G10L15/26;G10L25/24
• 代理公司: 深圳智匯遠見知識產權代理有限公司 44481
• 代理人: 劉潔

1.一種基于語義場景的語音識別方法，其特征在于，所述方法包括：

獲取待識別語音，解析所述待識別語音的音頻特征，其中，所述音頻特征包括聲學特征和音色特征；

利用語音識別模型對所述聲學特征進行語音識別，得到語音識別結果；

根據所述音色特征，利用語義識別模型檢測所述語音識別結果中的異常字符；

判斷所述異常字符是否符合預設的語義場景；

若所述異常字符符合所述預設的語義場景，將所述語音識別結果作為所述待識別語音的最終識別結果；

若所述異常字符不符合所述預設的語義場景，從預設的字符表中選取所述異常字符的替換字符，以更新所述語音識別結果，得到所述待識別語音的最終識別結果。

2.如權利要求1所述的基于語義場景的語音識別方法，其特征在于，所述解析所述待識別語音的音頻特征，包括：

對所述待識別語音進行預處理，并將預處理后的所述待識別語音進行短時傅里葉變換，得到所述待識別語音的聲譜圖；

對所述聲譜圖進行梅爾譜濾波，并將梅爾譜濾波后的聲譜圖進行倒譜分析，得到所述待識別語音的梅爾譜圖；

識別所述梅爾譜圖中的聲學特征和音色特征，得到所述待識別語音的音頻特征。

3.如權利要求1所述的基于語義場景的語音識別方法，其特征在于，所述利用語音識別模型對所述聲學特征進行語音識別，得到語音識別結果，包括：

利用所述語音識別模型中的聲學模型計算所述聲學特征的音素序列概率；

根據所述音素序列概率，利用所述語音識別模型的語言網絡計算所述聲學特征的文字序列；

根據所述文字序列，生成所述待識別語音的語音識別結果。

4.如權利要求1至3中任意一項所述的基于語義場景的語音識別方法，其特征在于，所述根據所述音色特征，利用語義識別模型檢測所述語音識別結果中的異常字符，包括：

根據所述音色特征，定位所述語音識別結果中的異常音頻區域；

將所述異常音頻區域輸入至所述語義識別模型中，以通過所述語義識別模型中的注意力機制檢測所述異常音頻區域的語義信息；

根據所述語義信息，利用所述語義識別模型中的分類網絡識別所述異常音頻區域中的異常字符。

5.如權利要求4所述的基于語義場景的語音識別方法，其特征在于，所述根據所述音色特征，定位所述語音識別結果中的異常字符區域，包括：

識別所述語音識別結果的音頻序列，并根據所述音色特征，識別所述語音識別結果的音色序列；

在所述音頻序列與所述音色序列不一致時，定位所述語音識別結果中的異常音頻區域。

6.如權利要求4所述的基于語義場景的語音識別方法，其特征在于，所述通過所述語義識別模型中的注意力機制檢測所述異常音頻區域的語義信息，包括：

利用所述注意力機制中的編碼層對所述異常音頻區域中每個字符進行位置向量編碼，得到編碼字符；

利用所述注意力機制中的編碼器對所述編碼字符進行特征提取，得到特征編碼字符；

利用所述注意力機制中的解碼器對所述特征編碼字符進行序列解碼，得到字符序列信息；

根據所述字符序列信息，利用所述注意力機制中的前向網絡輸出所述異常音頻區域的語義信息。

7.如權利要求1所述的基于語義場景的語音識別方法，其特征在于，所述判斷所述異常字符是否符合預設的語義場景，包括：

獲取所述異常字符的異常位置，根據所述異常位置，識別所述異常字符的語義信息；

將所述語義信息與所述預設的語義場景進行匹配；

若所述語義信息與所述預設的語義場景匹配失敗，則所述異常字符不符合所述預設的語義場景；

若所述語義信息與所述預設的語義場景匹配成功，則所述異常字符符合所述預設的語義場景。