[發明專利]音頻語料擴充的方法、裝置以及存儲介質

在審

• 申請號: 202010833061.1
• 申請日: 2020-08-18
• 公開（公告）號: CN114141227A
• 公開（公告）日: 2022-03-04
• 發明（設計）人: 黃磊;蔣寧;王洪斌;吳海英;權圣
• 申請（專利權）人: 北京有限元科技有限公司
• 主分類號: G10L13/02
• 分類號: G10L13/02;G10L13/06;G10L13/08;G10L25/18;G10L25/30
• 代理公司: 北京萬思博知識產權代理有限公司 11694
• 代理人: 劉冀

1.一種音頻語料擴充的方法，其特征在于，包括：

獲取第一音頻語料，確定與所述第一音頻語料對應的第一音頻特征；

利用預先訓練的音頻生成模型對所述第一音頻特征進行計算，生成第二音頻特征，其中所述音頻生成模型基于生成對抗網絡訓練得到；以及

確定與所述第二音頻特征對應的第二音頻語料。

2.根據權利要求1所述的方法，其特征在于，所述音頻生成模型基于雙向生成對抗網絡(BiGan)訓練得到。

3.根據權利要求2所述的方法，其特征在于，利用預先訓練的音頻生成模型對所述第一音頻特征進行計算，生成第二音頻特征，包括：

利用所述音頻生成模型的編碼器對所述第一音頻特征進行計算，生成與所述第一音頻特征對應的音頻向量；以及

利用所述音頻生成模型的解碼器對所述音頻向量進行計算，生成所述第二音頻特征。

4.根據權利要求1所述的方法，其特征在于，確定與所述第一音頻語料對應的第一音頻特征，包括：確定與所述第一音頻語料對應的梅爾頻譜特征。

5.根據權利要求2所述的方法，其特征在于，還包括根據以下步驟訓練所述音頻生成模型：

從錄音語料庫中獲取預定數量的錄音樣本數據，生成與所述錄音樣本數據對應的樣本音頻特征；

從服從正態分布的樣本中獲取預定數量的第一特征向量；

利用所述雙向生成對抗網絡(BiGan)的編碼器對所述樣本音頻特征進行計算，確定與所述樣本音頻特征對應的第二特征向量；

利用所述雙向生成對抗網絡(BiGan)的解碼器對所述第一特征向量進行計算，確定與所述第一特征向量對應的生成音頻特征；

將所述樣本音頻特征和對應的所述第二特征向量進行配對，將所述第一特征向量和對應的所述生成音頻特征進行配對，輸入到所述雙向生成對抗網絡(BiGan)的判別器；以及

根據所述判別器的識別結果對所述雙向生成對抗網絡進行調整。

6.根據權利要求5所述的方法，其特征在于，從錄音語料庫中獲取預定數量的錄音樣本數據，包括：

對所述錄音語料庫中的錄音數據進行相似度匹配；以及

選擇相似度小于預定閾值的錄音數據中的預定數量的數據作為所述錄音樣本數據。

7.根據權利要求6所述的方法，其特征在于，對所述錄音語料庫中的錄音數據進行相似度匹配，包括：

確定所述錄音語料庫中的錄音數據之間中包含的相同文字的數量；以及

根據所述相同文字的數量，對所述錄音語料庫中的錄音數據進行相似度匹配。

8.一種存儲介質，其特征在于，所述存儲介質包括存儲的程序，其中，在所述程序運行時由處理器執行權利要求1至7中任意一項所述的方法。

9.一種音頻語料擴充的裝置，其特征在于，包括：

數據獲取模塊，用于獲取第一音頻語料，確定與所述第一音頻語料對應的第一音頻特征；

特征生成模塊，用于利用預先訓練的音頻生成模型對所述第一音頻特征進行計算，生成第二音頻特征，其中所述音頻生成模型基于生成對抗網絡訓練得到；以及

語料生成模塊，用于確定與所述第二音頻特征對應的第二音頻語料。

10.一種音頻語料擴充的裝置，其特征在于，包括：

處理器；以及

存儲器，與所述處理器連接，用于為所述處理器提供處理以下處理步驟的指令：

獲取第一音頻語料，確定與所述第一音頻語料對應的第一音頻特征；

利用預先訓練的音頻生成模型對所述第一音頻特征進行計算，生成第二音頻特征，其中所述音頻生成模型基于生成對抗網絡訓練得到；以及

確定與所述第二音頻特征對應的第二音頻語料。