[發明專利]端到端語音識別模型的訓練方法及系統

有效

• 申請號: 201910853470.5
• 申請日: 2019-09-10
• 公開（公告）號: CN110556100B
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 俞凱;錢彥旻;黃明坤;盧怡宙;王嵐
• 申請（專利權）人: 思必馳科技股份有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06
• 代理公司: 北京商專永信知識產權代理事務所(普通合伙) 11400
• 代理人: 黃謙;車江華

1.一種端到端語音識別模型的訓練方法，所述端到端語音識別模型包括編碼器和解碼器，所述方法包括：

預先訓練得到聲學模型和交叉熵語言模型；

基于所述聲學模型初始化所述端到端語音識別模型的編碼器；

根據所述交叉熵語言模型初始化所述端到端語音識別模型的解碼器；

對初始化之后的所述端到端語音識別模型進行訓練；

其中，所述交叉熵語言模型為字符交叉熵語言模型或者子單詞交叉熵語言模型或者單詞交叉熵語言模型；

所述預先訓練得到聲學模型包括：

以聲學特征為輸入，以音素為輸出對CTC模型進行訓練得到音素聲學模型；

將所述音素聲學模型作為初始聲學模型；

以聲學特征為輸入，以設定建模單元為輸出對所述初始聲學模型進行訓練得到目標聲學模型；

其中，所述設定建模單元為字符時，所述目標聲學模型為字符聲學模型；所述設定建模單元為子單詞時，所述目標聲學模型為子單詞聲學模型；所述設定建模單元為單詞時，所述目標聲學模型為單詞聲學模型。

2.根據權利要求1所述的方法，其中，所述聲學模型為音素聲學模型。

3.根據權利要求1所述的方法，其中，

所述交叉熵語言模型包括LSTM層；

所述根據所述交叉熵語言模型初始化所述端到端語音識別模型的解碼器包括：將所述交叉熵語言模型的LSTM層初始化為所述解碼器。

4.根據權利要求3所述的方法，其中，所述交叉熵語言模型還包括第一輸入嵌入層，所述端到端語音識別模型還包括第二輸入嵌入層；所述方法還包括：將所述第一輸入嵌入層初始化為所述第二輸入嵌入層。

5.根據權利要求4所述的方法，其中，所述端到端語言模型還包括連接于所述編碼器和所述解碼器之間的注意力層，所述方法還包括對所述注意力層的權重進行隨機初始化。

6.根據權利要求5所述的方法，其中，所述對初始化之后的所述端到端語音識別模型進行訓練包括：

以所述聲學特征作為所述編碼器的輸入，同時以所述設定建模單元作為所述第二輸入嵌入層的輸入，對所述端到端語音識別模型進行訓練。

7.一種端到端語音識別模型的訓練系統，所述端到端語音識別模型包括編碼器和解碼器，所述系統包括：

預訓練模塊，用于預先訓練得到聲學模型和交叉熵語言模型；

第一初始化模塊，用于基于所述聲學模型初始化所述端到端語音識別模型的編碼器；

第二初始化模塊，用于根據所述交叉熵語言模型初始化所述端到端語音識別模型的解碼器；

端到端模型訓練模塊，用于對初始化之后的所述端到端語音識別模型進行訓練；

其中，所述交叉熵語言模型為字符交叉熵語言模型或者子單詞交叉熵語言模型或者單詞交叉熵語言模型；

所述預先訓練得到聲學模型包括：

以聲學特征為輸入，以音素為輸出對CTC模型進行訓練得到音素聲學模型；

將所述音素聲學模型作為初始聲學模型；

以聲學特征為輸入，以設定建模單元為輸出對所述初始聲學模型進行訓練得到目標聲學模型；

其中，所述設定建模單元為字符時，所述目標聲學模型為字符聲學模型；所述設定建模單元為子單詞時，所述目標聲學模型為子單詞聲學模型；所述設定建模單元為單詞時，所述目標聲學模型為單詞聲學模型。

8.一種電子設備，其包括：至少一個處理器，以及與所述至少一個處理器通信連接的存儲器，其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行權利要求1-6中任意一項所述方法的步驟。

9.一種存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現權利要求1-6中任意一項所述方法的步驟。