[發明專利]音頻語料擴充的方法、裝置以及存儲介質

在審

• 申請號: 202010833061.1
• 申請日: 2020-08-18
• 公開（公告）號: CN114141227A
• 公開（公告）日: 2022-03-04
• 發明（設計）人: 黃磊;蔣寧;王洪斌;吳海英;權圣
• 申請（專利權）人: 北京有限元科技有限公司
• 主分類號: G10L13/02
• 分類號: G10L13/02;G10L13/06;G10L13/08;G10L25/18;G10L25/30
• 代理公司: 北京萬思博知識產權代理有限公司 11694
• 代理人: 劉冀

本申請公開了一種音頻語料擴充的方法、裝置以及存儲介質。其中，該方法包括：獲取第一音頻語料，確定與第一音頻語料對應的第一音頻特征；利用預先訓練的音頻生成模型對第一音頻特征進行計算，生成第二音頻特征，其中音頻生成模型基于生成對抗網絡訓練得到；以及確定與第二音頻特征對應的第二音頻語料。

技術領域

本申請涉及音頻處理技術領域，特別是涉及一種音頻語料擴充的方法、裝置以及存儲介質。

背景技術

目前的語音合成技術有參數合成、拼接合成、端到端語音生成，目前業界使用較多的是使用拼接合成與端到端語音合成。拼接合成主要是錄音人員依照文本進行錄音生成一個較大的錄音庫，當有語音合成需求的時候，依據文本在錄音庫尋找相應錄音進行錄音拼接，供用戶使用。端到端語音合成，主要是通過深度學習技術，引入注意力機制，通過錄音人員的大量錄音，進行文本標注，訓練出一個Encoder–Decoder結構的網絡模型，然后傳入文本通過訓練好的模型進行語音合成，供用戶使用。端到端合成對于語料有一定數量的要求，一般要求長達10個小時的錄音，同時語料需要進行常用詞的全覆蓋才能使語音合成系統的錯誤率最小，此時一般人工錄制的話，需要錄制3個月，后期語料修復可能都需要錄音人員進行錄制。因此采用端到端的語音合成方式錄制與維護語料的過程過于依賴人力且繁瑣，需要消耗大量的時間與人力成本，影響經濟適用性。

針對上述的現有技術中存在的語音合成過程中的語料錄制與維護過于依賴人力完成，因此會消耗大量的時間與人力成本的技術問題，目前尚未提出有效的解決方案。

發明內容

本公開的實施例提供了一種音頻語料擴充的方法、裝置以及存儲介質，以至少解決現有技術中存在的語音合成過程中的語料錄制與維護過于依賴人力完成，因此會消耗大量的時間與人力成本的技術問題。

根據本公開實施例的一個方面，提供了一種音頻語料擴充的方法，包括：獲取第一音頻語料，確定與第一音頻語料對應的第一音頻特征；利用預先訓練的音頻生成模型對第一音頻特征進行計算，生成第二音頻特征，其中音頻生成模型基于生成對抗網絡訓練得到；以及確定與第二音頻特征對應的第二音頻語料。

根據本公開實施例的另一個方面，還提供了一種存儲介質，存儲介質包括存儲的程序，其中，在程序運行時由處理器執行以上任意一項所述的方法。

根據本公開實施例的另一個方面，還提供了一種音頻語料擴充的裝置，包括：數據獲取模塊，用于獲取第一音頻語料，確定與第一音頻語料對應的第一音頻特征；特征生成模塊，用于利用預先訓練的音頻生成模型對第一音頻特征進行計算，生成第二音頻特征，其中音頻生成模型基于生成對抗網絡訓練得到；以及語料生成模塊，用于確定與第二音頻特征對應的第二音頻語料。

根據本公開實施例的另一個方面，還提供了一種音頻語料擴充的裝置，包括：處理器；以及存儲器，與處理器連接，用于為處理器提供處理以下處理步驟的指令：獲取第一音頻語料，確定與第一音頻語料對應的第一音頻特征；利用預先訓練的音頻生成模型對第一音頻特征進行計算，生成第二音頻特征，其中音頻生成模型基于生成對抗網絡訓練得到；以及確定與第二音頻特征對應的第二音頻語料。

在本公開實施例中，可以利用基于生成對抗網絡訓練得到的語音生成模型生成大量的語料，進而可以滿足端到端語音合成系統的訓練。與現有技術相比，本方案不需要花費大量的時間和人力成本去進行語料的錄制工作，因此可以快速解決語音合成中語料不足的問題，減少錄音人錄制語料的時間，避免錄制語料過于依賴人力的弊端。此外，還可以同時保證得到高質量的語音語料。因此達到了高效且高質量的獲得大量的語料的技術效果。進而解決了現有技術中存在的語音合成過程中的語料錄制與維護過于依賴人力完成，因此會消耗大量的時間與人力成本的技術問題。

附圖說明

此處所說明的附圖用來提供對本公開的進一步理解，構成本申請的一部分，本公開的示意性實施例及其說明用于解釋本公開，并不構成對本公開的不當限定。在附圖中：