[發(fā)明專利]一種基于隨機屏蔽訓練的聲紋識別方法及計算機設備

在審

• 申請?zhí)枺?/td>: 202211193071.9
• 申請日: 2022-09-28
• 公開（公告）號: CN115691510A
• 公開（公告）日: 2023-02-03
• 發(fā)明（設計）人: 陳瑋;馮少輝;張建業(yè)
• 申請（專利權）人: 北京中科智加科技有限公司
• 主分類號: G10L17/04
• 分類號: G10L17/04;G10L25/87;G10L25/30
• 代理公司: 北京天達知識產權代理事務所有限公司 11386
• 代理人: 龐許倩

1.一種基于隨機屏蔽訓練的聲紋識別方法，其特征在于，包括以下步驟：

通過預先訓練的特征提取模型對多個用戶語音進行注冊，得到用戶語音注冊庫；所述特征提取模型為采用隨機屏蔽的方法構建有損語音特征向量并進行訓練得到；

獲取待識別語音，通過所述特征提取模型對待識別語音進行特征提取，得到待識別語音的特征向量；

將待識別語音的所述特征向量與所述用戶語音注冊庫中的所有注冊語音進行余弦相似度值計算；基于所述余弦相似度值確認得到待識別語音的所屬用戶。

2.根據(jù)權利要求1所述的聲紋識別方法，其特征在于，采用隨機屏蔽的方法構建有損語音特征向量并進行訓練得到所述特征提取模型，包括：

基于Wav2Vec2模型，構建隨機屏蔽特征編碼模型；

將語音樣本數(shù)據(jù)輸入所述隨機屏蔽特征編碼模型進行特征提取、隨機屏蔽和特征編碼，得到有損語音特征向量；

對所述有損語音特征向量進行掩碼填充和屏蔽向量預測，經過損失迭代更新訓練，得到所述特征提取模型。

3.根據(jù)權利要求2所述的聲紋識別方法，其特征在于，所述隨機屏蔽特征編碼模型執(zhí)行如下步驟得到所述有損語音特征向量：

對輸入的語音樣本數(shù)據(jù)進行特征提取得到固定維度的語音特征向量；

按照均勻分布對所述語音特征向量進行隨機屏蔽；記錄被屏蔽的向量和剩余向量的位置，對剩余的向量嵌入位置信息，得到隨機屏蔽后的有損語音數(shù)據(jù)；

對隨機屏蔽后的所述有損語音數(shù)據(jù)進行語音幀間注意力計算，得到具有時序關系且包含上下文關系的有損語音特征向量。

4.根據(jù)權利要求2所述的聲紋識別方法，其特征在于，所述特征提取模型通過如下步驟訓練得到：

構建聲紋識別訓練數(shù)據(jù)集，所述聲紋識別訓練數(shù)據(jù)集中包括語音樣本數(shù)據(jù)和表示語音數(shù)據(jù)所屬人的標簽；

利用所述隨機屏蔽特征編碼模型基于所述語音樣本數(shù)據(jù)構建有損語音特征向量；

對所述有損語音特征向量進行向量填充和位置信息嵌入，得到掩碼填充后的特征向量；

基于掩碼填充后的特征向量對被隨機屏蔽部分對應的語音特征向量進行預測，得到完整語音特征向量；

對所述完整語音特征向量進行平均池化與softmax分類，得到所述完整語音特征向量對應的標簽類別分布；

基于聲紋識別訓練數(shù)據(jù)集中的標簽和分類器得到的標簽通過損失函數(shù)進行迭代更新，得到訓練好的隨機屏蔽特征編碼模型；基于訓練好的所述隨機屏蔽特征編碼模型，關閉隨機屏蔽功能后得到所述特征提取模型。

5.根據(jù)權利要求4所述的聲紋識別特征提取模型的訓練方法，其特征在于，所述對所述有損語音特征向量進行向量填充和位置信息嵌入，包括：對被屏蔽的向量賦值為一個共享的學習向量或一個固定的非零向量；對被屏蔽的向量和剩余的向量嵌入相應的位置信息得到掩碼填充后的特征向量。

6.根據(jù)權利要求4所述的聲紋識別特征提取模型的訓練方法，其特征在于，將掩碼填充后的特征向量輸入解碼器，通過下式得到完整的語音特征向量：

其中，代表加入填充向量后的語音特征向量，代表位置編碼信息，f_bn代表歸一化操作，f_transformer代表transformer解碼器。

7.根據(jù)權利要求4所述的聲紋識別特征提取模型的訓練方法，其特征在于，對所述完整語音特征向量進行平均池化與softmax分類得到預測向量

損失函數(shù)公式為：

其中，x為輸入的語音序列，y為說話人類別標簽。

8.根據(jù)權利要求1所述的聲紋識別方法，其特征在于，所述通過預先訓練的特征提取模型對多個用戶語音進行注冊，得到用戶語音注冊庫，包括：將待注冊用戶的語音輸入所述特征提取模型，得到待注冊用戶的語音特征向量，對待注冊用戶的語音特征向量基于用戶ID標注標簽，保存所述待注冊語音的特征向量和對應的標簽，得到用戶語音注冊庫。