[發明專利]語音識別模型訓練方法、語音識別方法及裝置

在審

• 申請號: 202010961964.8
• 申請日: 2020-09-14
• 公開（公告）號: CN112086087A
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 唐浩雨
• 申請（專利權）人: 廣州市百果園信息技術有限公司
• 主分類號: G10L15/02
• 分類號: G10L15/02;G10L15/06;G10L15/26;G10L19/04
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發明實施例公開了一種語音識別模型訓練方法、語音識別方法及裝置，包括：獲取無標注文本的第一語音序列和有標注文本的第二語音序列；將第一語音序列輸入編碼網絡中，得到第一語音序列中語音單元的第一編碼特征和指定語音單元的內容特征；根據內容特征預測指定語音單元之后的語音單元的第二編碼特征；根據指定語音單元之后的語音單元的第一編碼特征和第二編碼特征計算對比編碼損失以對編碼網絡進行訓練；在訓練好編碼網絡后將第二語音序列輸入編碼網絡以對編碼網絡和解碼網絡進行訓練。通過第一編碼特征和第二編碼特征計算對比編碼損失來訓練編碼網絡，可以使用無標注數據訓練編碼網絡，減少了有標注的數據的數量，降低了獲取數據的成本。

技術領域

本發明實施例涉及語音識別技術領域，尤其涉及一種語音識別模型訓練方法、語音識別方法、語音識別模型訓練裝置、語音識別裝置、電子設備和存儲介質。

背景技術

在直播平臺中，常常需要對大量直播間主播的內容進行監管，監管對象包括圖像和語音，直播中的語音主要來源于主播說話所形成的語音。對于語音內容的監管，通常是將語音識別為文本，然后對文本進行甄別。

現有技術中通常是將語音輸入訓練好的語音識別模型中得到相應的文本，該語音識別模型包括編碼網絡和解碼網絡，編碼網絡對輸入的語音進行編碼得到語音特征，解碼網絡對編碼得到語音特征進行解碼得到文本。在訓練語音識別模型時，需要對編碼網絡和解碼網絡進行訓練，并且訓練編碼網絡和解碼網絡時均需要計算損失函數，具體為先對語音數據進行標注得到標簽，使用具有標簽的語音數據來訓練解碼網絡和編碼網絡，在編碼網絡訓練過程中需要通過訓練數據的標簽來計算損失率，在對解碼網絡和編碼網絡一起訓練的過程中同樣需要訓練數據的標簽來計算損失率，即整個訓練過程需要依賴大量的有標注的語音數據，導致大量無標注的語音數據無法利用，增加了獲取訓練數據的成本。

發明內容

本發明實施例提供一種語音識別模型訓練方法、語音識別方法、裝置、電子設備和存儲介質，以解決現有訓練語音識別模型訓練過程中全程依賴有標注數據，造成大量無標注數據無法使用，最終導致訓練數據成本高的問題。

第一方面，本發明實施例提供了一種語音識別模型訓練方法，包括：

獲取訓練數據集，所述訓練數據集包括無標注文本的第一語音序列和有標注文本的第二語音序列；

將所述第一語音序列輸入初始化后的編碼網絡中，得到所述第一語音序列中語音單元的第一編碼特征和指定語音單元的內容特征；

根據所述內容特征預測所述指定語音單元之后的語音單元的第二編碼特征；

根據所述指定語音單元之后的語音單元的第一編碼特征和所述第二編碼特征計算對比編碼損失，以對所述編碼網絡進行訓練；

在訓練好所述編碼網絡后，將所述第二語音序列輸入所述編碼網絡以對所述編碼網絡和初始化的解碼網絡進行訓練，訓練好的編碼網絡和解碼網絡作為語音識別模型。

第二方面，本發明實施例提供了一種語音識別方法，包括：

獲取待識別語音數據；

將所述待識別語音數據輸入預先訓練好的語音識別模型中得到識別文本；

其中，所述語音識別模型通過本發明任一實施例所述的語音識別模型訓練方法所訓練。

第三方面，本發明實施例提供了一種語音識別模型訓練裝置，包括：

訓練數據集獲取模塊，用于獲取訓練數據集，所述訓練數據集包括無標注文本的第一語音序列和有標注文本的第二語音序列；

編碼網絡編碼模塊，用于將所述第一語音序列輸入初始化后的編碼網絡中，得到所述第一語音序列中語音單元的第一編碼特征和指定語音單元的內容特征；