[發明專利]語音檢測方法、裝置、電子設備和存儲介質

有效

• 申請號: 202011327815.2
• 申請日: 2020-11-24
• 公開（公告）號: CN112466298B
• 公開（公告）日: 2023-08-11
• 發明（設計）人: 周立峰;朱浩齊;李雨珂;楊衛強
• 申請（專利權）人: 杭州網易智企科技有限公司
• 主分類號: G10L15/16
• 分類號: G10L15/16;G10L15/06;G10L15/02;G10L25/60
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 李靜文

1.一種語音檢測方法，其特征在于，包括：

將待檢測的音頻信息輸入語音分類模型以獲得第一結果，所述第一結果用以確定所述音頻信息與目標對象之間的對應關系；其中，

所述語音分類模型由音頻訓練信息訓練獲得，所述語音分類模型包括依次級聯的卷積神經網絡、循環神經網絡以及注意力機制模型，以及用于將卷積神經網絡和注意力機制模型各自的輸出結果進行融合的融合層，以及所述融合層之后依次設置的全連接層、Softmax層和輸出層；

所述將待檢測的音頻信息輸入語音分類模型以獲得第一結果的步驟包括：

提取待檢測的音頻信息的FBank特征數據，將所述FBank特征數據輸入所述卷積神經網絡以獲取對應于該音頻信息的局部特征向量；

將所述局部特征向量輸入所述循環神經網絡，以相應循環神經網絡的輸出結果作為所述注意力機制模型的輸入，以計算獲得對應于該音頻信息的全局特征向量；

通過所述融合層收集所述局部特征向量和所述全局特征向量，并對所述局部特征向量和所述全局特征向量進行融合處理以獲得相應的融合特征向量；

將所述融合特征向量依次輸入所述全連接層、所述Softmax層和所述輸出層，得到所述第一結果。

2.根據權利要求1所述的方法，其特征在于，所述語音分類模型由所述目標對象的音頻訓練信息訓練獲得，包括：

對所述音頻訓練信息進行特征提取以獲得相應的音頻特征數據；

對所述音頻特征數據進行數據增強處理，并通過增強后的音頻特征數據對所述語音分類模型進行訓練。

3.根據權利要求2所述的方法，其特征在于，對所述音頻訓練信息進行特征提取以獲得相應的音頻特征數據的步驟包括：

將所述音頻訓練信息切分為等長的音頻片段，對每個所述音頻片段分別進行特征提取以獲得對應的音頻特征數據，所述音頻特征數據包括對應于每個音頻片段的原始特征數據以及FBank特征數據。

4.根據權利要求3所述的方法，其特征在于，對所述音頻特征數據進行數據增強處理的步驟至少包括以下之一：

在FBank特征數據中隨機的選取部分頻帶上對應的特征值，將相應的特征值替換為隨機值；

在FBank特征數據中隨機的交換至少兩個時間片段上對應的特征值。

5.根據權利要求3所述的方法，其特征在于，對所述音頻特征數據進行數據增強處理的步驟至少包括以下之一：

在所述原始特征數據中添加隨機的噪聲特征數據；

將多段所述的原始特征數據相拼接；

改變所述原始特征數據中的發音速度特征和/或音調特征。

6.根據權利要求3所述的方法，其特征在于，所述方法還包括：

根據所述第一結果確定所述音頻信息與目標對象是相對應的，則將所述音頻信息輸入聲紋識別模型以獲得第二結果；其中，所述第二結果用于對所述第一結果進行驗證，所述聲紋識別模型由音頻訓練信息訓練獲得。

7.根據權利要求1所述的方法，其特征在于，所述音頻訓練信息包括由第一標簽所標注的正訓練樣本集和由第二標簽所標注的負訓練樣本集，所述第一標簽表征所述正訓練樣本集內的音頻樣本與所述目標對象相對應，所述第二標簽表征所述負訓練樣本集內的音頻樣本與所述目標對象不對應；

所述語音分類模型由所述目標對象的音頻訓練信息訓練獲得，還包括：

基于所述音頻訓練信息以及對應于它們的、所述語音分類模型的輸出結果，確定所述語音分類模型的對比損失函數和交叉熵損失函數；

融合所述對比損失函數和所述交叉熵損失函數，以獲得所述語音分類模型的目標損失函數；

基于梯度下降規則調整所述語音分類模型的模型參數，直至所述目標損失函數的損失值收斂至不再減小，以結束對所述語音分類模型的訓練。

8.根據權利要求1-7中任一項所述的方法，其特征在于，所述語音分類模型包括多個卷積層相級聯而成的卷積神經網絡，所述循環神經網絡為GRU神經網絡。