[發明專利]端到端語音識別模型的訓練方法及系統

有效

• 申請號: 201910853470.5
• 申請日: 2019-09-10
• 公開（公告）號: CN110556100B
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 俞凱;錢彥旻;黃明坤;盧怡宙;王嵐
• 申請（專利權）人: 思必馳科技股份有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06
• 代理公司: 北京商專永信知識產權代理事務所(普通合伙) 11400
• 代理人: 黃謙;車江華

本發明公開一種端到端語音識別模型的訓練方法，所述端到端語音識別模型包括編碼器和解碼器，所述方法包括：預先訓練得到聲學模型和交叉熵語言模型；基于所述聲學模型初始化所述端到端語音識別模型的編碼器；根據所述交叉熵語言模型初始化所述端到端語音識別模型的解碼器；對初始化之后的所述端到端語音識別模型進行訓練。采用多階段預訓練的方式，避免了模型訓練早期的長時間緩慢學習階段，從而極大削減模型訓練時間。同時這種策略沒有超參數需要調優，相對于現有技術，避免了大量繁瑣的超參數調優。

技術領域

本發明涉及語音識別技術領域，尤其涉及一種端到端語音識別模型的訓練方法及系統。

背景技術

現有技術中為了訓練出一個好的端到端系統采用的方法有預熱和超長學習率調度策略，但都相當于緩慢的增加模型學習強度，當模型訓練到一個比較好的狀態時再按照正常的方式繼續訓練。

從本質上講，預熱以及超長學習率調度都是為了給模型提供一個好的初始狀態。但是這些技術的缺陷是需要針對特定模型進行大量超參數調優，不通用，都需要長時間的訓練，非常耗時。這些相似技術想要取得好的效果，需要使用者有豐富的調參經驗，專業性要求高，人力成本高。

發明內容

本發明實施例提供一種端到端語音識別模型的訓練方法及系統，用于至少解決上述技術問題之一。

第一方面，本發明實施例提供一種端到端語音識別模型的訓練方法，所述端到端語音識別模型包括編碼器和解碼器，所述方法包括：

預先訓練得到聲學模型和交叉熵語言模型；

基于所述聲學模型初始化所述端到端語音識別模型的編碼器；

根據所述交叉熵語言模型初始化所述端到端語音識別模型的解碼器；

對初始化之后的所述端到端語音識別模型進行訓練。

第二方面，本發明實施例提供一種端到端語音識別模型的訓練系統，所述端到端語音識別模型包括編碼器和解碼器，所述系統包括：

預訓練模塊，用于預先訓練得到聲學模型和交叉熵語言模型；

第一初始化模塊，用于基于所述聲學模型初始化所述端到端語音識別模型的編碼器；

第二初始化模塊，用于根據所述交叉熵語言模型初始化所述端到端語音識別模型的解碼器；

端到端模型訓練模塊，用于對初始化之后的所述端到端語音識別模型進行訓練。

第三方面，本發明實施例提供一種存儲介質，所述存儲介質中存儲有一個或多個包括執行指令的程序，所述執行指令能夠被電子設備(包括但不限于計算機，服務器，或者網絡設備等)讀取并執行，以用于執行本發明上述任一項端到端語音識別模型的訓練方法。

第四方面，提供一種電子設備，其包括：至少一個處理器，以及與所述至少一個處理器通信連接的存儲器，其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行本發明上述任一項端到端語音識別模型的訓練方法。

第五方面，本發明實施例還提供一種計算機程序產品，所述計算機程序產品包括存儲在存儲介質上的計算機程序，所述計算機程序包括程序指令，當所述程序指令被計算機執行時，使所述計算機執行上述任一項端到端語音識別模型的訓練方法。

本發明實施例的有益效果在于：采用多階段預訓練的方式，避免了模型訓練早期的長時間緩慢學習階段，從而極大削減模型訓練時間。同時這種策略沒有超參數需要調優，相對于現有技術，避免了大量繁瑣的超參數調優。

附圖說明