[發明專利]壓縮后的語音識別模型的優化方法及系統

有效

• 申請號: 201810021903.6
• 申請日: 2018-01-10
• 公開（公告）號: CN108389576B
• 公開（公告）日: 2020-09-01
• 發明（設計）人: 錢彥旻;游永彬;陳哲懷;黃明坤
• 申請（專利權）人: 蘇州思必馳信息科技有限公司;上海交大知識產權管理有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06
• 代理公司: 北京商專永信知識產權代理事務所(普通合伙) 11400
• 代理人: 方挺;黃謙

本發明實施例提供一種壓縮后的語音識別模型的優化方法。該方法包括：基于壓縮前的語音識別模型，確定教師模型，基于壓縮后的語音識別模型和語音數據庫中無標注的語音數據，生成學生模型；在語音數據庫中提取帶標注的語音數據序列作為訓練數據集合，通過訓練數據集合對學生模型神經網絡前向傳播，確定學生模型的第一后驗概率；通過訓練數據集合對教師模型進行前向?后向計算，確定教師模型的第二后驗概率；比較第一與第二后驗概率，確定學生模型與教師模型的誤差；當誤差不收斂時，根據誤差對學生模型進行神經網絡反向傳播以優化學生模型。本發明實施例還提供一種壓縮后的語音識別模型的優化系統。本發明實施例根據源模型對壓縮后模型進行優化。

技術領域

本發明涉及語音識別領域，尤其涉及一種壓縮后的語音識別模型的優化方法及系統。

背景技術

語音識別是讓設備將語音信號轉變為相應的文本或命令的人工智能技術。通過對語音識別模型的深度學習，使語音識別的準確度得到了很大提升。

盡管深度學習保證了語音識別性能的準確度，但其模型中的大量參數占用了大量的存儲空間。一方面，大參數類型的語音識別模型需要大量計算和占用大量內存資源，另一方面，大參數類型的語音識別模型運行速度較慢。這些因素妨礙了在資源有限的系統上部署這種大參數類型的語音識別模型。

為了讓資源有限的系統可以部署大參數類型的語音識別模型，通常使用模型壓縮技術來將大參數類型的語音識別模型進行壓縮，從而壓縮后的大參數類型的語音識別模型可以在資源有限的系統中部署。

在實現本發明過程中，發明人發現相關技術中至少存在如下問題：

使用模型壓縮技術，壓縮后的語音識別模型通常不能較好保留壓縮前模型的泛化能力和模型準確度。

發明內容

為了至少解決現有技術中壓縮后的語音識別模型通常不能較好保留壓縮前模型的泛化能力和模型準確度。本領域技術人員通常會采用：對壓縮后語音識別模型中非最優的模型結構上進行微調來改善壓縮性能。申請人意外的發現基于序列級的遷移學習方法對壓縮后的模型利用神經網絡前向傳播，對壓縮前的數據模型進行前向-后向計算，以確定二者的序列誤差，通過使用所述序列誤差，對壓縮后的語音識別模型進行神經網絡反向傳播，以更新壓縮后的語音識別模型，使更新后的語音識別模型與更新前的語音識別模型相收斂，從而解決上述問題。

第一方面，本發明實施例提供一種壓縮后的語音識別模型的優化方法，包括：

基于壓縮前的語音識別模型，確定教師模型，基于壓縮后的語音識別模型和語音數據庫中無標注的語音數據，生成學生模型；

在所述語音數據庫中提取部分帶標注的語音數據序列作為訓練數據集合，通過所述訓練數據集合對所述學生模型進行神經網絡前向傳播，以確定所述學生模型的第一序列后驗概率；

通過所述訓練數據集合對所述教師模型進行前向-后向計算，確定所述教師模型的第二序列后驗概率；

比較所述第一序列后驗概率與所述第二序列后驗概率，以確定所述學生模型與所述教師模型的序列誤差；

當所述序列誤差不收斂時，根據所述序列誤差對所述學生模型進行神經網絡反向傳播，以更新所述學生模型，生成優化學生模型。

第二方面，本發明實施例提供一種壓縮后的語音識別模型的優化系統，包括：

模型確定程序模塊，用于基于壓縮前的語音識別模型，確定教師模型，基于壓縮后的語音識別模型和語音數據庫中無標注的語音數據，生成學生模型；

第一序列后驗概率確定程序模塊，用于在所述語音數據庫中提取部分帶標注的語音數據序列作為訓練數據集合，通過所述訓練數據集合對所述學生模型進行神經網絡前向傳播，以確定所述學生模型的第一序列后驗概率；