[發明專利]語音識別方法、裝置、電子設備和存儲介質

在審

• 申請號: 202110943389.3
• 申請日: 2021-08-17
• 公開（公告）號: CN113643694A
• 公開（公告）日: 2021-11-12
• 發明（設計）人: 杜葉倩
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/18;G10L15/183;G10L15/26
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 程琛

本發明提供一種語音識別方法、裝置、電子設備和存儲介質，其中方法包括：確定待識別的語音數據；基于語音識別模型，對語音數據進行語音識別，將語音識別所得的語音語義特征轉換為文本語義特征，并基于文本語義特征生成語音識別文本；其中，語音識別模型是基于預訓練語音模型和預訓練語言模型訓練得到的，語音語義特征屬于預訓練語音模型的特征空間，文本語義特征屬于預訓練語言模型的特征空間。本發明實施例提供的方法、裝置、電子設備和存儲介質，實現了預訓練語音模型與預訓練語言模型的直接結合，充分利用無標注語音數據和文本數據分別進行語音模型和語言模型的預訓練，減少了對高成本有標注數據的依賴。

技術領域

本發明涉及語音信號處理技術領域，尤其涉及一種語音識別方法、裝置、電子設備和存儲介質。

背景技術

通常語音識別模型從隨機初始化開始訓練，隨著訓練樣本的輸入，語音識別模型根據樣本的預測情況尋找梯度下降方向，豐富的數據為語音識別模型提供充分的指導，多輪迭代后得到較優的模型參數。

然而，在語音識別模型需要執行低資源語種的語音識別任務時，可供訓練的標注數據量很少，從隨機初始化開始訓練容易造成對少量數據的過擬合。因此模型預訓練對于提升低資源語種的語音識別性能十分重要。

目前，通常只針對語音模型做預訓練，而語言模型由于依賴語音模型的輸出作為輸入而難以單獨預訓練。

發明內容

本發明提供一種語音識別方法、裝置、電子設備和存儲介質，用以解決現有技術中只針對語音模型做預訓練，而語言模型由于依賴語音模型的輸出作為輸入而難以單獨預訓練的缺陷。

本發明提供一種語音識別方法，包括：

確定待識別的語音數據；

基于語音識別模型，對所述語音數據進行語音識別，將語音識別所得的語音語義特征轉換為文本語義特征，并基于所述文本語義特征生成語音識別文本；

其中，所述語音識別模型是基于預訓練語音模型和預訓練語言模型訓練得到的，所述語音語義特征屬于所述預訓練語音模型的特征空間，所述文本語義特征屬于所述預訓練語言模型的特征空間。

根據本發明提供的一種語音識別方法，所述將語音識別所得的語音語義特征轉換為文本語義特征，包括：

基于所述語音識別模型中的轉換模塊，對所述語音語義特征進行長度轉換和特征空間轉換，得到所述文本語義特征，所述文本語義特征的長度是對所述語音語義特征進行文本長度預測得到的。

根據本發明提供的一種語音識別方法，所述基于所述語音識別模型中的轉換模塊，對所述語音語義特征進行長度轉換，包括：

基于所述轉換模塊，按照采樣比例對所述語音語義特征進行均勻采樣，所述采樣比例是基于所述語音語義特征的長度和所述文本長度預測的結果確定的。

根據本發明提供的一種語音識別方法，所述基于所述文本語義特征生成語音識別文本，包括：

基于所述語音識別模型中的預訓練語言模型，對所述文本語義特征進行文本預測，得到文本預測特征，基于所述文本語義特征和所述文本預測特征生成所述語音識別文本。

根據本發明提供的一種語音識別方法，所述語音識別模型的模型損失函數是基于語音識別損失函數和長度預測損失函數確定的；

所述語音識別損失函數是基于樣本語音對應的樣本文本，以及所述樣本語音的文本語義特征確定的；

所述長度預測損失函數是基于所述樣本語音對應的樣本文本的長度和所述文本語義特征的長度確定的。

根據本發明提供的一種語音識別方法，所述模型損失函數是基于所述語音識別損失函數、所述文本生成損失函數和長度預測損失函數確定的；