[發明專利]聯結主義時間分類和截斷式注意力聯合在線語音識別技術

有效

• 申請號: 202010106791.1
• 申請日: 2020-02-20
• 公開（公告）號: CN111179918B
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 張鵬遠;繆浩然;程高峰;顏永紅
• 申請（專利權）人: 中國科學院聲學研究所;中科信利（廣州）技術有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/26;G10L15/28;G10L25/24;G10L25/30
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽

本發明實施例提供了一種聯結主義時間分類和截斷式注意力聯合在線語音識別技術。構建了基于編碼器、解碼器、截斷式注意力和聯結主義時間分類器的語音識別神經網絡模型，采用交叉熵準則和聯結主義時間分類準則訓練該神經網絡模型；將語音流輸入解碼器，將存留的漢字序列輸入編碼器，利用截斷式注意力機制截取有效的語音片段；根據截取的語音片段，對每條存留的漢字序列預測多個漢字，并于之構成一個新的漢字序列，并評分；聯結主義時間分類器將解碼拓展的多組漢字序列和已接收的語音對齊，并評分；對兩種評分取平均，對各漢字序列進行剪枝；當滿足終止條件時輸出識別結果。該方法很大程度提升在線語音識別的性能。

技術領域

本發明涉及語音識別領域，尤其涉及一種聯結主義時間分類和截斷式注意力聯合在線語音識別技術。

背景技術

端對端語音識別技術簡化了傳統的語音識別技術，直接實現語音特征序列轉換為漢字序列。目前主流的端對端語音識別模型采用編碼器、解碼器和注意力機制的結構組成統一的神經網絡模型，使用交叉熵準則訓練模型。通常基于注意力機制的端對端語音識別模型依賴完整的語音，不適合實時地將語音特征轉換為漢字序列。同時，使用交叉熵訓練的模型，在解碼階段識別性能較差。

發明內容

本發明的目的旨在克服現有的基于編碼器、解碼器和注意力機制的結構的端對端語音識別模型不能應用于實時轉寫在線任務的問題，通過發明截斷式注意力機制實時地截斷輸入的語音流，使得端對端語音識別模型在語音輸入的同時輸出漢字序列。同時采用聯結主義時間分類準則和交叉熵準則聯合訓練，解決解碼階段識別性能差的問題。

本發明為解決上述技術問題采用的技術方案為，一方面提供一種端對端語音在線語音識別方法，所述方法基于神經網絡模型，所述神經網絡模型包括編碼器、解碼器、注意力截斷網絡、聯結主義時間分類器，所述方法包括：

獲取待解碼的語音流，提取所述語音流的聲學特征流；

編碼器根據所述聲學特征流，得到編碼特征流；

獲取留存的漢字序列；將所述留存的漢字序列輸入解碼器，解碼器生成狀態序列；

根據所述狀態序列，以及編碼特征流，所述注意力截斷網絡截取有效的編碼特征；

根據所述有效的編碼特征，解碼器給出多個所述留存的漢字序列的后續一位預測漢字，每個所述預測漢字和留存的漢字序列構成一個新漢字序列，解碼器根據所述新漢字序列，得到第一預測評分；

對齊所述新漢字序列和所述編碼特征流，所述聯結主義時間分類器根據聯結主義時間分類準則對對齊后的新漢字序列進行估算，得到第二預測評分；

根據第一預測評分和第二預測評分，得到綜合預測評分，根據所述綜合預測評分，保留綜合預測評分最高的若干所述新漢字序列；

判斷所述新漢字序列是否包含終止符，

若不包含，

將其變為留存漢字序列，輸入解碼器，繼續后續漢字的預測；

若包含，

以所述綜合預測評分最高的所述新漢字序列做作為識別結果，并輸出。

優選地，所述對齊所述新漢字序列和所述語音包括，使用維特比算法所述對齊所述新漢字序列和所述語音。

優選地，所述獲取待解碼的語音流，提取所述語音流的聲學特征流；編碼器根據所述聲學特征流，得到編碼特征流；獲取留存的漢字序列；根據所述留存的漢字序列，以及編碼特征流，解碼器截取有效的語音片段；包括：

將待解碼的語音流對應的聲學特征序列X＝[x₁，x₂，...x_t]輸入編碼器，實時地輸出新的特征序列H＝[h₁，h₂，...，h_t]；