[發明專利]語音識別模型訓練方法、裝置、設備及介質

在審

• 申請號: 202111130120.X
• 申請日: 2021-09-26
• 公開（公告）號: CN113870845A
• 公開（公告）日: 2021-12-31
• 發明（設計）人: 李澤遠;王健宗
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/02
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 譚果林

本發明涉及人工智能領域，提供一種語音識別模型訓練方法、裝置、設備及介質，方法包括：獲取包含語音樣本的語音樣本集；將語音樣本輸入初始識別模型；通過音頻增強處理，得到待處理音頻片段；通過初始識別模型中的老師網絡進行老師聲學特征提取，得到第一特征向量，同時通過初始識別模型中的學生網絡進行學生聲學特征提取，得到第二特征向量；結合老師網絡中的動態隊列進行對齊對比處理，得到損失值；在損失值未達到預設的收斂條件時，迭代更新直至收斂，并得到訓練完成的語音識別模型。本發明實現了通過老師網絡和學生網絡共同的語音識別，加快訓練效率。本發明適用于人工智能領域，可進一步推動智慧城市的建設。

技術領域

本發明涉及人工智能的語音識別領域，尤其涉及一種語音識別模型訓練方法、裝置、計算機設備及存儲介質。

背景技術

語音翻譯是將一種自然語言(源語言)轉換為另一種自然語言(目標語言)的過程，不同于傳統的機器翻譯，語音翻譯的輸入直接是語音，輸出是文本，隨著國際性交流的增加，使用不同語種的語言溝通越來越頻繁，為克服語言交流障礙，基于客戶端進行在線語音翻譯得到廣泛的應用。

在線語音翻譯一般涉及兩個環節，第一是進行語音識別，即將用戶輸入的第一語種的語音信號轉換為文本；第二是通過機器翻譯裝置對文本進行在線翻譯，以得到作為翻譯結果的第二語種的文本，最后向用戶提供第二語種的文本或者語音信息，然而現有方案中的語音識別通常是采用大量的由人工低效率標注的語音樣本訓練得到的，而且訓練得到的語音識別模型的結構復雜以及計算量大，導致輸出的文本效率低，最終存在翻譯滯后時長較長的情況，造成實時的在線語音翻譯效果差，用戶體驗滿意度低。

發明內容

本發明提供一種語音識別模型訓練方法、裝置、計算機設備及存儲介質，實現了無需人工標注的自監督語音識別模型的訓練，通過老師聲學特征提取和學生聲學特征提取，運用動態隊列進行老師網絡和學生網絡之間的對齊對比處理，從而不斷進行訓練，提高了訓練速度，最終簡化了學生網絡的結構且保證了識別精度，為后續的語音翻譯提高了翻譯效率和準確率。

一種語音識別模型訓練方法，包括：

獲取語音樣本集；所述語音樣本集包括多個語音樣本；

將所述語音樣本輸入含有初始參數的初始識別模型；

通過所述初始識別模型對所述語音樣本進行音頻增強處理，得到待處理音頻片段；

通過老師網絡對所述待處理音頻片段進行老師聲學特征提取，得到第一特征向量，同時通過學生網絡對所述待處理音頻片段進行學生聲學特征提取，得到第二特征向量；其中，所述初始識別模型包括所述老師網絡和所述學生網絡；所述學生網絡為對所述老師網絡進行蒸餾學習后獲得；

對所述第一特征向量、所述第二特征向量和所述老師網絡中的動態隊列進行對齊對比處理，得到損失值；

在所述損失值未達到預設的收斂條件時，迭代更新所述初始識別模型的初始參數，直至所述損失值達到所述收斂條件時，將收斂之后的所述初始識別模型記錄為訓練完成的語音識別模型。

一種語音識別模型訓練裝置，包括：

獲取模塊，用于獲取語音樣本集；所述語音樣本集包括多個語音樣本；

輸入模塊，用于將所述語音樣本輸入含有初始參數的初始識別模型；

增強模塊，用于通過所述初始識別模型對所述語音樣本進行音頻增強處理，得到待處理音頻片段；

提取模塊，用于通過老師網絡對所述待處理音頻片段進行老師聲學特征提取，得到第一特征向量，同時通過學生網絡對所述待處理音頻片段進行學生聲學特征提取，得到第二特征向量；其中，所述初始識別模型包括所述老師網絡和所述學生網絡；所述學生網絡為對所述老師網絡進行蒸餾學習后獲得；