[發明專利]音頻特征提取模型的訓練方法、音頻識別方法及相關設備

在審

• 申請號: 202110682612.3
• 申請日: 2021-06-18
• 公開（公告）號: CN113421574A
• 公開（公告）日: 2021-09-21
• 發明（設計）人: 胡詩超
• 申請（專利權）人: 騰訊音樂娛樂科技（深圳）有限公司
• 主分類號: G10L17/04
• 分類號: G10L17/04;G10L17/18;G10L17/02;G10L17/26;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強;杜維

1.一種音頻特征提取模型的訓練方法，其特征在于，所述方法包括：

獲取訓練數據集，所述訓練數據集包括多個參考用戶的音頻數據；

對所述多個參考用戶的音頻數據進行預處理，得到所述多個參考用戶的音頻頻譜圖；

根據所述多個參考用戶的音頻頻譜圖生成多個批處理數據，每個所述批處理數據包括由N個參考用戶中每個參考用戶的M個單位頻譜數據組成的頻譜特征矩陣，所述N和所述M均為大于0的整數；

利用所述批處理數據對神經網絡進行訓練，得到所述N個參考用戶的特征向量，直到根據所述N個參考用戶的特征向量確定所述神經網絡的損失函數收斂時，得到音頻特征提取模型。

2.根據權利要求1所述的方法，其特征在于，所述利用所述批處理數據對神經網絡進行訓練，得到所述N個參考用戶的特征向量，直到根據所述N個參考用戶的特征向量確定所述神經網絡的損失函數收斂時，得到音頻特征提取模型，包括：

調用神經網絡對所述頻譜特征矩陣進行處理，得到所述N個參考用戶中每個參考用戶的M個特征向量；

根據所述N個參考用戶中每個參考用戶的M個特征向量和所述神經網絡的損失函數確定第一損失值；

根據所述第一損失值對所述神經網絡的網絡參數進行調整，直到所述神經網絡的損失函數收斂時，得到音頻特征提取模型。

3.根據權利要求2所述的方法，其特征在于，所述根據所述N個參考用戶中每個參考用戶的M個特征向量和所述神經網絡的損失函數確定第一損失值，包括：

獲取所述N個參考用戶中同一參考用戶的M個特征向量之間的距離，以及不同參考用戶的M個特征向量之間的距離；

根據所述同一參考用戶的M個特征向量之間的距離、所述不同參考用戶的M個特征向量之間的距離和所述神經網絡的損失函數，確定第一損失值。

4.根據權利要求2或3所述的方法，其特征在于，所述調用神經網絡對所述頻譜特征矩陣進行處理，得到所述N個參考用戶中每個參考用戶的M個特征向量，包括：

從所述多個批處理數據中確定第一批處理數據；

調用神經網絡對所述第一批處理數據包括的頻譜特征矩陣進行處理，得到所述第一批處理數據對應的N個參考用戶中每個參考用戶的M個特征向量。

5.根據權利要求4所述的方法，其特征在于，所述根據所述第一損失值對所述神經網絡的網絡參數進行調整，直到所述神經網絡的損失函數收斂時，得到音頻特征提取模型，包括：

若所述第一損失值不滿足收斂條件，則根據所述第一損失值對所述神經網絡的網絡參數進行調整；

從所述多個批處理數據中確定第二批處理數據；

根據網絡參數調整后的神經網絡、所述第二批處理數據和所述神經網絡的損失函數，確定第二損失值；

若所述第二損失值滿足所述收斂條件，則將網絡參數調整后的神經網絡作為音頻特征提取模型。

6.一種音頻識別方法，其特征在于，所述方法包括：

獲取待識別用戶的音頻數據；

將所述音頻數據輸入如權利要求1～5中任一項所述的音頻特征提取模型，得到所述待識別用戶的第一特征向量；

從用戶特征庫中確定與所述第一特征向量匹配的第二特征向量，所述用戶特征庫包括至少一個參考用戶的特征向量；

根據所述第二特征向量對應的參考用戶確定所述待識別用戶的音頻特征信息。

7.根據權利要求6所述的方法，其特征在于，所述方法還包括：

對至少一個參考用戶的音頻數據進行預處理，得到所述至少一個參考用戶的音頻頻譜圖；

根據所述至少一個參考用戶的音頻頻譜圖生成多個批處理數據，每個所述批處理數據包括由N個參考用戶中每個參考用戶的M個單位頻譜數據組成的頻譜特征矩陣，所述N和所述M均為大于0的整數；

利用所述音頻特征提取模型對每個所述批處理數據包括的頻譜特征矩陣進行處理，得到所述至少一個參考用戶中每個參考用戶的M個特征向量；

根據所述至少一個參考用戶中每個參考用戶的M個特征向量創建用戶特征庫。