[發明專利]音頻特征提取模型的訓練方法、音頻識別方法及相關設備

在審

• 申請號: 202110682612.3
• 申請日: 2021-06-18
• 公開（公告）號: CN113421574A
• 公開（公告）日: 2021-09-21
• 發明（設計）人: 胡詩超
• 申請（專利權）人: 騰訊音樂娛樂科技（深圳）有限公司
• 主分類號: G10L17/04
• 分類號: G10L17/04;G10L17/18;G10L17/02;G10L17/26;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強;杜維

本申請實施例提供了一種音頻特征提取模型的訓練方法、音頻識別方法及相關設備，該訓練方法包括：獲取訓練數據集，該訓練數據集包括多個參考用戶的音頻數據，對該多個參考用戶的音頻數據進行預處理，得到該多個參考用戶的音頻頻譜圖，根據該多個參考用戶的音頻頻譜圖生成多個批處理數據，每個該批處理數據包括由N個參考用戶中每個參考用戶的M個單位頻譜數據組成的頻譜特征矩陣，利用批處理數據對神經網絡進行訓練，得到N個參考用戶的特征向量，直到根據該N個參考用戶的特征向量確定神經網絡的損失函數收斂時，得到音頻特征提取模型，可以高效地訓練得到音頻特征提取模型，以提高提取用戶聲音特征時的準確度。

技術領域

本申請涉及計算機技術領域，尤其涉及一種音頻特征提取模型的訓練方法、音頻識別方法及相關設備。

背景技術

目前，對說話人識別或者對歌聲識別通常使用的是傳統聲紋提取技術，主要依靠使用傳統的機器學習算法(例如高斯混合模型(Gaussian Mixture Model，GMM)、因子分析(Joint Factor Analysis，JFA)、i-vector等)對聲音信號進行建模，繼而提取與說話人或者唱歌人身份相關的信息再進行匹配。然而，使用以上傳統建模的方法難以很好地對音頻特征特別是說話人相關的特征做模型訓練，從而難以準確提取與說話人相關的特征。

發明內容

本申請實施例提供一種音頻特征提取模型的訓練方法、音頻識別方法及相關設備，可以高效地訓練得到音頻特征提取模型，以提高提取用戶聲音特征時的準確度。

一方面，本申請實施例提供了一種音頻特征提取模型的訓練方法，所述方法包括：

獲取訓練數據集，所述訓練數據集包括多個參考用戶的音頻數據。

對所述多個參考用戶的音頻數據進行預處理，得到所述多個參考用戶的音頻頻譜圖。

根據所述多個參考用戶的音頻頻譜圖生成多個批處理數據，每個所述批處理數據包括由N個參考用戶中每個參考用戶的M個單位頻譜數據組成的頻譜特征矩陣，所述N和所述M均為大于0的整數。

利用所述批處理數據對神經網絡進行訓練，得到所述N個參考用戶的特征向量，直到根據所述N個參考用戶的特征向量確定所述神經網絡的損失函數收斂時，得到音頻特征提取模型。

另一方面，本申請實施例提供了一種音頻識別方法，所述方法包括：

獲取待識別用戶的音頻數據。

將所述音頻數據輸入上述的音頻特征提取模型，得到所述待識別用戶的第一特征向量。

從用戶特征庫中確定與所述第一特征向量匹配的第二特征向量，所述用戶特征庫包括至少一個參考用戶的特征向量。

根據所述第二特征向量對應的參考用戶確定所述待識別用戶的音頻特征信息。

又一方面，本申請實施例提供了一種音頻特征提取模型的訓練裝置，所述裝置包括：

獲取模塊，用于獲取訓練數據集，所述訓練數據集包括多個參考用戶的音頻數據。

處理模塊，用于對所述多個參考用戶的音頻數據進行預處理，得到所述多個參考用戶的音頻頻譜圖。

所述處理模塊，還用于根據所述多個參考用戶的音頻頻譜圖生成多個批處理數據，每個所述批處理數據包括由N個參考用戶中每個參考用戶的M個單位頻譜數據組成的頻譜特征矩陣，所述N和所述M均為大于0的整數。

訓練模塊，用于利用所述批處理數據對神經網絡進行訓練，得到所述N個參考用戶的特征向量，直到根據所述N個參考用戶的特征向量確定所述神經網絡的損失函數收斂時，得到音頻特征提取模型。

又一方面，本申請實施例提供了一種音頻識別裝置，所述裝置包括：