[發明專利]語音識別模型的訓練方法、裝置、存儲介質及電子設備

在審

• 申請號: 202210833610.4
• 申請日: 2022-07-14
• 公開（公告）號: CN115101061A
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 付立
• 申請（專利權）人: 京東科技信息技術有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/16
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 王輝

本公開涉及語音識別領域，具體涉及一種語音識別模型的訓練方法、裝置、存儲介質及電子設備。該語音識別模型的訓練方法包括構建初始語音識別模型；固定第二初始參數，基于無標注數據集計算對比學習損失函數以將第一初始參數調整為第一中間參數；固定第一中間參數，基于有標注數據集計算第一聯合損失函數以將第二初始參數調整為第二中間參數；基于有標注數據集計算第二聯合損失函數，并根據第二聯合損失函數對第一網絡和第二網絡進行訓練，以調整第一中間參數和第二中間參數得到目標語音識別模型。本公開提供的語音識別模型的訓練方法能夠解決語音識別模型在標注數據不足時識別性能低的問題。

技術領域

本公開涉及語音識別領域，具體涉及一種語音識別模型的訓練方法、語音識別模型的訓練裝置、存儲介質及電子設備。

背景技術

近年來，隨著深度學習技術的高速發展，基于端到端深度神經網絡的自動語音識別(Automatic Speech Recognition：ASR)已經逐漸發展成為當前語音識別領域的主流技術。

由于端到端ASR模型參數量較大，模型的性能往往依賴于大量的標注數據。并且通常情況下，自監督ASR方法主要在CTC(Connectionist temporal classification，時序數據分類算法)框架下進行，CTC框架假設語音特征表示幀間獨立，與實際情況有所出入，性能受限。因此還需要進一步提高語音識別模型在標注數據不足的條件下的識別性能。

需要說明的是，在上述背景技術部分公開的信息僅用于加強對本公開的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現有技術的信息。

發明內容

本公開的目的在于提供一種語音識別模型的訓練方法、語音識別模型的訓練裝置、存儲介質及電子設備，旨在解決語音識別模型在標注數據不足時識別性能低的問題。

本公開的其他特性和優點將通過下面的詳細描述變得顯然，或部分地通過本公開的實踐而習得。

根據本公開實施例的一方面，提供了一種語音識別模型的訓練方法，包括：構建初始語音識別模型；其中，所述初始語音識別模型包括具有第一初始參數的第一網絡和具有第二初始參數的第二網絡；固定所述第二初始參數，基于無標注數據集計算對比學習損失函數，并根據所述對比學習損失函數對所述第一網絡進行自監督訓練，以將所述第一初始參數調整為第一中間參數；固定所述第一中間參數，基于有標注數據集計算第一聯合損失函數，并根據所述第一聯合損失函數對所述第二網絡進行訓練，以將所述第二初始參數調整為第二中間參數；基于所述有標注數據集計算第二聯合損失函數，并根據所述第二聯合損失函數對所述第一網絡和所述第二網絡進行訓練，以調整所述第一中間參數和所述第二中間參數得到目標語音識別模型。

根據本公開的一些實施例，基于前述方案，所述第一網絡包括卷積神經網絡模塊和卷積增強模塊。

根據本公開的一些實施例，基于前述方案，所述基于無標注數據集計算對比學習損失函數，包括：基于所述卷積神經網絡模塊計算所述無標注數據集中一音頻樣本數據的淺層表示結果；對所述淺層表示結果進行掩碼處理得到掩碼表示結果，并基于所述卷積增強模塊計算所述掩碼表示結果的深層表示結果；以及將所述淺層表示結果進行線性變換得到目標表示結果；基于所述深層表示結果和所述目標表示結果計算所述對比學習損失函數。

根據本公開的一些實施例，基于前述方案，所述對所述淺層表示結果進行掩碼處理得到掩碼表示結果，包括：基于隨機掩碼概率從所述淺層表示結果中進行隨機選取得到種子樣本幀；將所述淺層表示結果中所述種子樣本幀之后的連續K幀的特征矢量替換為可學習向量得到所述掩碼表示結果，其中K為正整數。