[發明專利]語音識別模型的訓練方法、語音識別方法及裝置

有效

• 申請號: 201911240191.8
• 申請日: 2019-12-05
• 公開（公告）號: CN111862953B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 蔣棟蔚
• 申請（專利權）人: 北京嘀嘀無限科技發展有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/02;G10L19/16
• 代理公司: 北京超成律師事務所 11646
• 代理人: 吳迪

1.一種語音識別模型的訓練方法，其特征在于，所述語音識別模型為Transformer結構的模型，包括編碼器和解碼器，所述編碼器包括多個編碼層，所述解碼器包括多個解碼層，所述編碼器和掩蔽預測編碼MPC層構成所述語音識別模型的預訓練模型，所述方法包括：

獲取包括多個語音序列的語音樣本集，對所述語音樣本集中的多個所述語音序列進行幀計算，以提取所述語音序列的Fbank特征向量，其中，所述語音樣本集中包括的多個語音序列為無標注語音序列；

對所述Fbank特征向量進行指定倍數的降采樣處理，生成所述Fbank特征向量對應的降采樣特征向量；

對所述降采樣特征向量做掩碼運算，生成掩碼特征向量；

將所述掩碼特征向量輸入至所述預訓練模型，通過所述預訓練模型的編碼器和MPC層輸出所述Fbank特征向量對應的預測向量；

計算所述預測向量與所述Fbank特征向量的損失函數，根據所述損失函數調整所述語音識別模型中所述編碼器的參數，繼續訓練調整參數后的所述語音識別模型，直至所述損失函數收斂至預設值，完成所述語音識別模型的預訓練過程。

2.根據權利要求1所述的方法，其特征在于，所述預訓練過程完成之后，所述語音識別模型的所述編碼器與解碼器構成所述語音識別模型的微調模型，所述方法還包括：

將所述語音序列的Fbank特征向量輸入至所述微調模型，以對所述語音識別模型的參數進行微調處理。

3.根據權利要求1所述的方法，其特征在于，所述對所述語音樣本集中的多個所述語音序列進行幀計算，以提取所述語音序列的Fbank特征向量的步驟包括：

將所述無標注語音序列輸入至預先設置的特征提取系統，通過所述特征提取系統對所述無標注語音序列進行幀計算，以提取所述語音序列的Fbank特征向量。

4.根據權利要求1所述的方法，其特征在于，對所述Fbank特征向量進行指定倍數的降采樣處理，生成所述Fbank特征向量對應的降采樣特征向量的步驟包括：

對所述Fbank特征向量依次選取指定倍數的一組幀數；

對于每組幀數，隨機選取其中指定個數的幀，將每組幀數中選取的所述指定個數的幀進行組合，以生成所述Fbank特征向量對應的降采樣特征向量；其中，所述指定個數小于所述指定倍數。

5.根據權利要求4所述的方法，其特征在于，所述指定倍數為8倍，所述指定個數為1。

6.根據權利要求4所述的方法，其特征在于，對所述降采樣特征向量做掩碼計算，生成掩碼特征向量的步驟包括：

遍歷所述降采樣特征向量的每一幀；

按照預設的隨機函數對所述降采樣特征向量的每一幀分別計算隨機數，如果所述隨機數小于預設的隨機值，將該幀對應的向量值置為0，以生成掩碼特征向量。

7.根據權利要求1所述的方法，其特征在于，所述損失函數為L1損失函數。

8.一種語音識別方法，其特征在于，所述方法通過語音識別模型實現，所述語音識別模型為根據權利要求1～7任一項所述的方法訓練得到的，所述方法包括：

獲取待識別語音；

將所述待識別語音輸入至訓練好的所述語音識別模型，通過所述語音識別模型輸出所述待識別語音對應的文字識別結果。