[發明專利]模型訓練方法、方言識別方法、裝置、服務器及存儲介質

在審

• 申請號: 202011453440.4
• 申請日: 2020-12-11
• 公開（公告）號: CN112634867A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 羅劍;王健宗;程寧
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G10L15/00
• 分類號: G10L15/00;G10L15/02;G10L15/06;G10L15/183;G10L15/26
• 代理公司: 深圳市力道知識產權代理事務所(普通合伙) 44507
• 代理人: 賀小旺

本申請提供一種模型訓練方法、方言識別方法、裝置、服務器及存儲介質，該方法包括：獲取樣本數據，該樣本數據包括目標文本和目標文本對應的方言語音序列和普通話語音序列，基于第一編碼器、第二編碼器、第一注意力模塊、第二注意力模塊、連接時序分類器和解碼器，并根據該方言語音序列和普通話語音序列，得到第一文本、第二文本和第三文本，之后根據目標文本、第一文本、第二文本和第三文本，確定方言識別模型的目標損失值，并根據該目標損失值確定方言識別模型是否收斂，當確定方言識別模型未收斂，則更新方言識別模型的模型參數，并繼續對更新后的方言識別模型進行訓練，直至方言識別模型收斂，本方案使方言識別模型的訓練更加簡便和準確。

技術領域

本申請涉及語音識別技術領域，尤其涉及一種模型訓練方法、方言識別方法、裝置、服務器及存儲介質。

背景技術

在語音識別的技術領域，方言識別一直是一個難題，在給定的一段連續語音中，方言中的口音往往的夾雜在所有的語音片段中，而且強弱程度呈現不規則的變化，在早期的語音識別模型中，可以調整發音庫和聲學模型來實現比較準確的方言識別，但是調整后的聲學模型只適用于訓練數據中涉及的方言，難以保證來自不同種類的方言都能被準確識別，而且，早期的語言識別模型需要分別訓練聲學模型和語言模型，帶來大量冗余的計算量。

發明內容

本申請的主要目的在于提供一種模型訓練方法、方言識別方法、裝置、服務器及存儲介質，旨在使方言識別模型的訓練更加簡便和準確，以使后續的方言識別更加準確。

第一方面，本申請提供一種模型訓練方法，所述模型訓練方法用于訓練方言識別模型，所述方法應用于服務器，所述方言識別模型包括第一編碼器、第二編碼器、第一注意力模塊、第二注意力模塊、連接時序分類器和解碼器，所述方法包括：

獲取樣本數據，其中，所述樣本數據包括目標文本和所述目標文本對應的方言語音序列和普通話語音序列；

將所述方言語音序列輸入至所述第一編碼器，得到第一特征向量，并將所述普通話語音序列輸入至所述第二編碼器，得到第二特征向量；

將所述第一特征向量和第二特征向量輸入至所述連接時序分類器，得到第一文本；

將所述第一特征向量輸入至所述第一注意力模塊，得到第一上下文關聯向量，并將所述第二特征向量輸入至所述第二注意力模塊，得到第二上下文關聯向量；

將所述第一上下文關聯向量和第二上下文關聯向量輸入至所述解碼器，得到第二文本和第三文本；

根據目標文本、第一文本、第二文本和第三文本，確定所述方言識別模型的目標損失值；

根據所述目標損失值，確定所述方言識別模型是否收斂；

若所述方言識別模型未收斂，則更新所述方言識別模型的模型參數，并繼續對更新后的所述方言識別模型進行訓練，直至所述方言識別模型收斂。

第二方面，本申請還提供一種方言識別方法，包括：

獲取待識別的語音信息，并對所述語音信息進行語音特征序列提取，得到所述語音信息對應的語音特征序列；

將所述語音特征序列輸入至預設方言識別模型中，得到所述語音信息對應的文本，其中，所述預設方言識別模型是通過如說明書所述的模型訓練方法進行訓練得到的。

第三方面，本申請還提供一種模型訓練裝置，方言識別模型包括第一編碼器、第二編碼器、第一注意力模塊、第二注意力模塊、連接時序分類器和解碼器，所述模型訓練裝置包括：獲取模塊和模型訓練模塊，其中：

所述獲取模塊，用于獲取樣本數據，其中，所述樣本數據包括目標文本和所述目標文本對應的方言語音序列和普通話語音序列；

所述模型訓練模塊，用于：