[發明專利]一種流式和非流式混合語音識別系統及流式語音識別方法

有效

• 申請號: 202110675286.3
• 申請日: 2021-06-18
• 公開（公告）號: CN113257248B
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 陶建華;田正坤;易江燕
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G10L15/26
• 分類號: G10L15/26;G10L15/16;G10L15/06
• 代理公司: 北京華夏泰和知識產權代理有限公司 11662
• 代理人: 孫劍鋒;李永葉

1.一種流式和非流式混合語音識別系統，其特征在于，包括：流式編碼器、聯結時序分類解碼器和注意力機制解碼器；所述流式編碼器采用基于局部自注意力機制的Transformer來進行構建，輸出編碼狀態；所述聯結時序分類解碼器包含一個線性映射層，負責將編碼狀態映射到預先設計好的詞表空間，得到編碼狀態映射表示，使編碼狀態映射表示的維度與所述詞表空間的維度相同，然后通過Softmax計算預測到的標記，用于流式解碼；所述注意力機制解碼器采用Transformer解碼器來構建，由前端卷積層和多層重復的單向Transformer編碼層組成，最后一層為線性映射層，使編碼狀態映射表示的維度與所述詞表空間的維度相同，并計算最終輸出的概率；對流式和非流式混合語音識別系統進行訓練，在訓練過程中，所述聯結時序分類解碼器計算CTC損失函數，所述注意力機制解碼器計算交叉熵損失函數；將所述CTC損失函數和所述交叉熵損失函數進行加權求和作為識別系統的模型損失函數；

在流式推理過程中，以所述聯結時序分類解碼器作為主導，所述注意力機制解碼器為輔助，所述聯結時序分類解碼器采用BeamSearch搜索算法將編碼狀態生成N條流式候選聲學序列和所述N條流式候選聲學序列的CTC流式聲學分數，由所述注意力機制解碼器對所述N條流式候選聲學序列進行重打分數，根據每條流式候選聲學序列的分數對N條流式候選聲學序列重新排列，采用分數最高的流式候選聲學序列作為最終的流式識別結果；

在非流式推理過程中，以所述注意力機制解碼器作為主導，所述聯結時序分類解碼器作為輔助，所述注意力機制解碼器采用BeamSearch搜索算法在對解碼過程中生成的分數最高的M條非流序列作為M條非流候選聲學序列，由所述聯結時序分類解碼器對所述M條非流候選聲學序列進行重打分數，根據每條非流候選聲學序列的分數對M條非流候選聲學序列重新排列，采用分數最高的非流候選聲學序列作為最終的非流識別結果。

2.根據權利要求1所述的流式和非流式混合語音識別系統，其特征在于，所述模型損失函數的具體形式為：

模型損失函數=λ*CTC損失函數+(1-λ)*交叉熵損失函數；

其中，

λ：設置參數，0.1≤λ≤0.3。

3.根據權利要求1所述的流式和非流式混合語音識別系統，其特征在于，所述注意力機制解碼器對所述N條流式候選聲學序列進行重打分數的具體方法為：

在每條流式候選聲學序列前端擴增一個句子開始標記作為輸入流式候選序列；

所述注意力機制解碼器采用N條輸入流式候選序列和所述N條流式候選序列對應的編碼狀態作為輸入，預測包含結束標記不包含開始標記的流式目標候選序列，對流式目標候選序列每個位置上的概率進行求和，計算得到流式注意力分數，所述流式注意力分數作為對所述N條流式候選聲學序列進行重打分數。

4.根據權利要求3所述的流式和非流式混合語音識別系統，其特征在于，所述重打分數還包括：將所述流式注意力分數和所述CTC流式聲學分數進行加權求和作為對所述N條流式候選聲學序列進行重打分數。

5.根據權利要求4所述的流式和非流式混合語音識別系統，其特征在于，所述N為設置參數，10≤N≤100。

6.根據權利要求1所述的流式和非流式混合語音識別系統，其特征在于，所述注意力機制解碼器采用BeamSearch搜索算法在對解碼過程中生成的分數最高的M條非流序列作為M條非流候選聲學序列的具體過程為：

從開始標記開始進行預測，每一步都需要輸入完整的編碼狀態和上一步預測得到的標記，然后計算預測標記的分數；重復這一過程，直到預測到結束標記停止；然后將所述注意力機制解碼器解碼過程中生成的分數最高的M條非流序列作為M條非流候選聲學序列和M條非流候選聲學序列的非流注意力分數，剔除掉開始標記和結束標記。

7.根據權利要求6所述的流式和非流式混合語音識別系統，其特征在于，所述由所述聯結時序分類解碼器對所述M條非流候選聲學序列進行重打分數的具體方法為：將CTC非流聲學分數與所述非流注意力分數進行加權求和得到所述聯結時序分類解碼器對所述M條非流候選聲學序列進行重打分數。