[發明專利]模型訓練方法、語音識別方法、裝置、服務器及存儲介質

有效

• 申請號: 202110484676.2
• 申請日: 2021-04-30
• 公開（公告）號: CN113257235B
• 公開（公告）日: 2023-01-03
• 發明（設計）人: 王璐;魏韜;馬駿;王少軍
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/02;G10L15/16
• 代理公司: 深圳市力道知識產權代理事務所(普通合伙) 44507
• 代理人: 張傳義

1.一種模型訓練方法，其特征在于，應用于服務器，所述服務器存儲有特征提取模型和訓練好的語音識別模型，所述方法包括：

獲取作為訓練樣本的語音數據，并對所述語音數據進行第一信號處理得到第一語音數據，對所述語音數據進行第二信號處理得到第二語音數據；其中，所述第一信號處理包括采樣率調整、編碼格式調整、壓縮和/或解壓縮，所述第二信號處理包括采樣率調整、編碼格式調整、壓縮和/或解壓縮，所述第一信號處理不等同于所述第二信號處理；

將所述第一語音數據和第二語音數據輸入所述特征提取模型，以提取所述第一語音數據的第一特征向量，以及所述第二語音數據的第二特征向量；

根據所述第一特征向量和所述第二特征向量，計算所述第一語音數據與第二語音數據之間的互信息；

根據所述第一語音數據與第二語音數據之間的互信息，確定所述特征提取模型是否收斂；

若所述特征提取模型未收斂，則更新所述特征提取模型的模型參數，并通過所述訓練樣本繼續訓練更新模型參數后的所述特征提取模型，直至所述特征提取模型收斂；

將收斂后的所述特征提取模型和訓練好的所述語音識別模型進行融合，得到融合模型；

微調所述融合模型，以獲取目標語音識別模型。

2.如權利要求1所述的模型訓練方法，其特征在于，所述根據所述第一特征向量和所述第二特征向量，計算所述第一語音數據與第二語音數據之間的互信息，包括：

從所述第一特征向量中確定所述語音數據各幀對應的特征信息，得到多個第一幀特征信息；

從所述第二特征向量中確定所述語音數據各幀對應的特征信息，得到多個第二幀特征信息；

根據所述語音數據各幀各自對應的所述第一幀特征信息和所述第二幀特征信息，計算所述第一語音數據與第二語音數據之間的互信息。

3.如權利要求1-2中任一項所述的模型訓練方法，其特征在于，所述根據所述第一語音數據與第二語音數據之間的互信息，確定所述特征提取模型是否收斂，包括：

根據所述第一語音數據與第二語音數據之間的互信息，計算所述特征提取模型的損失值；

若所述特征提取模型的損失值小于或等于預設損失值，則確定所述特征提取模型收斂；

若所述特征提取模型的損失值大于預設損失值，則確定所述特征提取模型未收斂。

4.如權利要求3所述的模型訓練方法，其特征在于，所述根據所述第一語音數據與第二語音數據之間的互信息，計算所述特征提取模型的損失值，包括：

獲取表示互信息損失的第一權重，并獲取表示分類損失的第二權重；

通過所述第一語音數據與第二語音數據之間的互信息與所述第一權重，確定所述特征提取模型的第一損失值；

確定所述第一語音數據與第二語音數據的概率分布信息，并根據所述概率分布信息與所述第二權重，確定所述特征提取模型的第二損失值；

將所述第一損失值與所述第二損失值相加，得到所述特征提取模型的損失值。

5.如權利要求1-2中任一項所述的模型訓練方法，其特征在于，所述融合模型包括特征提取子模型和語音識別子模型；所述微調所述融合模型，以獲取目標語音識別模型，包括：

交替的對所述特征提取子模型或者所述語音識別子模型進行微調，直至所述特征提取子模型和語音識別子模型收斂，得到目標語音識別模型。

6.一種語音識別方法，其特征在于，包括：

獲取待識別的目標語音數據；

將所述目標語音數據輸入目標語音識別模型，得到所述目標語音數據對應的文本信息；

其中，所述目標語音識別模型是根據權利要求1至5中任一項所述的模型訓練方法進行訓練得到的。