[發明專利]語音識別方法、電子設備及存儲裝置

有效

• 申請號: 202011210822.4
• 申請日: 2020-11-03
• 公開（公告）號: CN112530421B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 吳思遠
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G10L15/22
• 分類號: G10L15/22;G10L15/02;G10L15/06;G10L15/16;G10L15/20;G10L15/26
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 何倚雯

1.一種語音識別方法，其特征在于，包括：

采集語音數據；

獲取所述語音數據的識別結果；

對所述識別結果進行候選擴展，得到候選識別結果；

顯示所述候選識別結果；

其中，所述識別結果包括至少一個第一詞匯；所述對所述識別結果進行候選擴展，得到候選識別結果，包括：

提取所述第一詞匯的語義特征，得到第一特征表示，并提取第二詞匯的語義特征，得到第二特征表示；所述第二詞匯是用戶的個性化詞匯；

基于注意力機制，利用所述第一特征表示和所述第二特征表示，得到加權系數；其中，所述加權系數表示每一所述第一詞匯在擴展候選時的重要度；

基于所述加權系數和所述第二特征表示進行預測，得到在每個所述第一詞匯的位置進行候選擴展的第一概率以及對應各個所述第二詞匯被選中的第二概率；

基于所述第一概率和所述第二概率，得到所述候選識別結果。

2.根據權利要求1所述的方法，其特征在于，所述候選擴展由候選擴展模型執行，所述候選擴展模型包括輸入層、編碼網絡、解碼網絡和輸出層；

所述提取所述第一詞匯的語義特征，得到第一特征表示，包括：

將所述識別結果送入所述輸入層以對所述識別結果進行分詞，得到所述至少一個第一詞匯，并對所述第一詞匯進行映射得到第一嵌入表示，將所述第一嵌入表示送入所述編碼網絡以提取所述第一嵌入表示的語義特征，得到所述第一特征表示；

所述提取第二詞匯的語義特征，得到第二特征表示，包括：

將所述第二詞匯送入所述輸入層，以對所述第二詞匯進行分詞和映射，得到第二嵌入表示，并將所述第二嵌入表示送入所述解碼網絡以提取所述第二嵌入表示的語義特征，得到所述第二特征表示；

所述基于所述加權系數和所述第二特征表示進行預測，得到在每個所述第一詞匯的位置進行候選擴展的第一概率以及對應各個所述第二詞匯被選中的第二概率，包括：

將所述加權系數送入所述解碼網絡以提取所述第二嵌入表示的語義特征，得到最終第二特征表示；

將所述加權系數以及所述最終第二特征表示送入所述輸出層，以預測在每個所述第一詞匯的位置進行候選擴展的第一概率以及對應各個所述第二詞匯被選中的第二概率。

3.根據權利要求2所述的方法，其特征在于，所述編碼網絡包括第一丟棄網絡、第一正向長短期記憶網絡、反向長短期記憶網絡和第二丟棄網絡；

所述將所述第一嵌入表示送入所述編碼網絡以提取所述第一嵌入表示的語義特征，得到所述第一特征表示，包括：

將所述第一嵌入表示送入所述第一丟棄網絡；

將所述第一丟棄網絡的輸出分別送入所述第一正向長短期記憶網絡和所述反向長短期記憶網絡，得到第一正向特征表示和反向特征表示；

將所述第一正向特征表示和反向特征表示拼接后送入所述第二丟棄網絡；

計算所述第二丟棄網絡的輸出與所述第一嵌入表示的加權和對所述加權和進行降維，得到所述第一特征表示。

4.根據權利要求2所述的方法，其特征在于，所述解碼網絡包括第三丟棄網絡、第二正向長短期記憶網絡、第三正向長短期記憶網絡和第四丟棄網絡；

所述將所述第二嵌入表示送入所述解碼網絡以提取所述第二嵌入表示的語義特征，得到所述第二特征表示，包括：

將所述第二嵌入表示送入所述第三丟棄網絡；

將所述第三丟棄網絡的輸出送入所述第二正向長短期記憶網絡，得到所述第二特征表示；

所述將所述加權系數送入所述解碼網絡以提取所述第二嵌入表示的語義特征，得到最終第二特征表示，包括：

利用所述加權系數對所述第二特征表示進行加權后作為所述第二正向長短期記憶網絡的輸出；

將所述第二正向長短期記憶網絡的輸出與所述加權系數拼接后送入所述第三正向長短期記憶網絡；

將所述第三正向長短期記憶網絡的輸出送入所述第四丟棄網絡；

計算所述第四丟棄網絡的輸出與所述第二正向長短期記憶網絡的輸出的加權和，得到所述最終第二特征表示。