[發明專利]豪薩語聲紋識別模型的訓練方法、識別方法及裝置

在審

• 申請號: 202011564085.8
• 申請日: 2020-12-25
• 公開（公告）號: CN114694634A
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 李威勇;龔科
• 申請（專利權）人: 暗物智能科技(廣州)有限公司
• 主分類號: G10L15/00
• 分類號: G10L15/00;G10L15/02;G10L15/06;G10L17/02;G10L17/04
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 李紅團

1.一種豪薩語聲紋識別模型的訓練方法，其特征在于，包括：

獲取英語音頻樣本的第一頻域特征及第一聲紋特征，以及豪薩語音頻樣本的第二頻域特征及第二聲紋特征；

基于所述第一頻域特征以及所述第一聲紋特征對豪薩語聲紋識別模型進行訓練，確定所述豪薩語聲紋識別模型的初始參數，得到初始豪薩語聲紋識別模型；

基于所述第二頻域特征以及所述第二聲紋特征對所述初始豪薩語聲紋識別模型進行訓練，調整所述初始豪薩語聲紋識別模型的初始參數，確定目標豪薩語聲紋識別模型，所述目標豪薩語聲紋識別模型的輸出為說話人的聲紋特征。

2.根據權利要求1所述的訓練方法，其特征在于，所述基于所述第一頻域特征以及所述第一聲紋特征對豪薩語聲紋識別模型進行訓練，確定所述豪薩語聲紋識別模型的初始參數，得到初始豪薩語聲紋識別模型，包括：

將所述第一頻域特征輸入所述豪薩語聲紋識別模型中，得到第一預測聲紋特征；

基于所述第一聲紋特征以及所述第一預測聲紋特征的誤差，對所述豪薩語聲紋識別模型的參數進行調整，確定所述初始豪薩語聲紋識別模型。

3.根據權利要求2所述的訓練方法，其特征在于，所述將所述第一頻域特征輸入所述豪薩語聲紋識別模型中，得到第一預測聲紋特征，包括：

利用所述豪薩語聲紋識別模型中的第一網絡模型對所述第一頻域特征進行處理，得到幀級別的說話人信息；

利用所述豪薩語聲紋識別模型中的第二網絡模型對所述幀級別的說話人信息進行聚類，得到句子級別的說話人信息，確定所述第一預測聲紋特征。

4.根據權利要求2所述的訓練方法，其特征在于，所述基于所述第一聲紋特征以及所述第一預測聲紋特征的誤差，對所述豪薩語聲紋識別模型的參數進行調整，確定所述初始豪薩語聲紋識別模型的初始參數，包括：

利用所述第一聲紋特征以及所述第一預測聲紋特征進行損失函數的計算；

基于所述損失函數的計算結果，對所述豪薩語聲紋識別模型的參數進行調整，確定所述初始豪薩語聲紋識別模型的初始參數。

5.根據權利要求1所述的訓練方法，其特征在于，所述基于所述豪薩語音頻樣本以及所述第二聲紋特征對所述初始豪薩語聲紋識別模型進行訓練，調整所述初始豪薩語聲紋識別模型的初始參數，確定目標豪薩語聲紋識別模型，包括：

將所述第二頻域特征輸入所述初始豪薩語聲紋識別模型中，得到第二預測聲紋特征；

基于所述第二聲紋特征以及所述第二預測聲紋特征的誤差，對所述初始豪薩語聲紋識別模型的初始參數進行調整，確定所述目標豪薩語聲紋識別模型。

6.根據權利要求1所述的訓練方法，其特征在于，所述獲取英語音頻樣本的第一頻域特征，以及，所述獲取豪薩語音頻樣本的第二頻域特征，包括：

將所述英語音頻樣本以及所述豪薩語音頻樣本分別劃分為靜音段與非靜音段；

分別對非靜音段的所述英語音頻樣本以及非靜音段的所述豪薩語音頻樣本進行傅里葉變換處理，以得到所述第一頻域特征以及所述第二頻域特征。

7.根據權利要求1-6中任一項所述的訓練方法，其特征在于，還包括：

獲取內類數據以及內間數據，所述內類數據為同一說話人的音頻數據，所述內間數據為不同說話人的音頻數據；

提取所述內類數據以及所述內間數據的頻域特征；

將提取出的頻域特征輸入所述目標豪薩語聲紋識別模型中，確定各個所述內類數據對應的聲紋特征，以及各個所述內間數據對應的聲紋特征；

基于各個所述內類數據對應的聲紋特征的相似度，以及各個所述內間數據對應的聲紋特征的相似度，確定聲紋識別閾值。