[發明專利]基于快速跳躍解碼的語音轉寫識別訓練解碼方法及系統

在審

• 申請號: 202110698291.6
• 申請日: 2021-06-23
• 公開（公告）號: CN113488028A
• 公開（公告）日: 2021-10-08
• 發明（設計）人: 溫正棋;田正坤
• 申請（專利權）人: 中科極限元（杭州）智能科技股份有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/02;G10L19/04;G10L19/16;G10L19/26;G10L25/24;G10L25/30;G10L25/45
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 楊小凡

1.基于快速跳躍解碼的語音轉寫識別訓練方法，其特征在于包括如下步驟：

S11，獲取語音訓練數據和對應的文本標注訓練數據，并提取一系列語音訓練數據的特征，構成聲學特征序列；

S12，將聲學特征序列進行聲學編碼，輸出聲學編碼狀態序列；

S13，將聲學編碼狀態序列進行解碼，得到概率分布，并計算損失L_CTC；

S14，將對應的文本標注訓練數據進行語言預測，并計算得到文本編碼狀態序列；

S15，將聲學編碼狀態序列和文本編碼狀態序列組合，并輸入聯合網絡，預測得到概率分布；

S16，根據解碼預測得到的概率分布，以及聯合網絡預測得到的概率分布，計算對齊損失L_{AL-Transducer}，使聯合網絡預測到空格的位置與解碼預測的空格標記的位置對齊；

S17，將損失L_CTC和對齊損失L_{AL-Transducer}相加得到聯合損失L_Joint＝(1-λ)L_CTC+λL_{AL-Transducer}，λ表示對齊權重，根據聯合損失L_Joint計算梯度，進行反向傳播；

S18，循環執行S12至S17，直至達到訓練結束條件，完成訓練。

2.如權利要求1所述的基于快速跳躍解碼的語音轉寫識別訓練方法，其特征在于所述S16中的對齊損失，包括如下步驟：

S161，根據解碼預測得到的概率分布，計算預測空格的概率分布，在t時刻預測得到空格標記的概率：

其中，表示解碼過程的最后映射層在第t時刻，對應詞表V中第j個單元的值，表示最后映射層在第t時刻，對應詞表中空格標記位置的值，預測得到非空格標記的概率表示為

S162，構建概率圖，用于對齊損失的計算，針對長度為T的聲學編碼狀態向量和長度為U的文本編碼狀態向量，其概率圖大小為長為T，寬為U+1的矩形，+1表示添加了一個額外的空格標記，概率圖中存在橫向轉移和縱向轉移，橫向轉移表示在任意節點(t,u)預測得到一個空格標記，縱向轉移表示在任意節點(t,u)預測得到一個非空格標記；

S163，對齊損失的函數：

其中，γ₁和γ₂分別是非空格對齊權重和空格對齊權重，P(A_t,u|x)表示概率圖中經過節點(t,u)的所有可行路徑的概率和；表示概率圖中經過節點(t,u)，并以此節點位置預測標記為非空格標記的所有可行路徑的概率和；表示概率圖中經過節點(t，u)，并以此節點位置預測標記為空格標記的所有可行路徑的概率和。

3.如權利要求2所述的基于快速跳躍解碼的語音轉寫識別訓練方法，其特征在于所述對齊損失的函數計算中，各子項的計算過程如下：

P(A_t，u|x)＝α(t,u)β(t,u)

其中，y(t,u)和分別表示在節點(t,u)位置預測為非空格標記和空格標記的概率；α(t,u)是前向變量，表示概率圖中所有從起始點出發到達節點(t,u)的路徑的概率和；β(t,u)是后向變量，表示所有從節點(t,u)出發，到達概率圖中右上角結束標記停止的路徑的概率和。

4.如權利要求1所述的基于快速跳躍解碼的語音轉寫識別訓練方法，其特征在于所述S15中的聯合網絡，將聲學編碼狀態序列和文本編碼狀態序列的特征維度拼接在一起的組合特征作為輸入，輸出為詞表的大小。

5.如權利要求1所述的基于快速跳躍解碼的語音轉寫識別訓練方法，其特征在于所述S15中聯合網絡預測得到的概率分布，是四維的張量的概率矩陣，第一維度表示批的大小B，第二維度表示聲學編碼狀態向量的長度T，第三個維度為U+1，表示文本編碼狀態向量的長度U再加上一個空格標記，第四維度表示詞表的大小V。