[發明專利]具備未知類別內部劃分能力的聲紋開集識別方法

在審

• 申請號: 202011566172.7
• 申請日: 2020-12-25
• 公開（公告）號: CN112735435A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 莊旭;袁鑫;尹可鑫;甘翼;叢迅超
• 申請（專利權）人: 西南電子技術研究所(中國電子科技集團公司第十研究所)
• 主分類號: G10L17/02
• 分類號: G10L17/02;G10L17/04;G10L17/18;G10L17/20;G10L17/22
• 代理公司: 成飛(集團)公司專利中心 51121
• 代理人: 郭純武

1.一種具備未知類別內部劃分能力的聲紋開集識別方法，其特征在于，包括如下步驟：

首先，以某一語言為母語，帶有不同口音的語言使用者的多個語音片段，構建文本無關的聲紋開集識別數據集；其次，將不同說話人的語音數據作為聲紋開集識別系統的輸入，逐條計算語音數據的梅爾頻率倒譜系數特征，對數據集中的原始音頻數據進行特征變換，經過預加重、分幀、加窗、快速傅里葉變換(FFT)、梅爾濾波器組過濾、取對數、離散余弦變換(DCT)這幾個預處理步驟后，將數據集中的音頻進行特征變換，得到關于音頻數據的梅爾頻率倒譜系數特征；再次，將音頻數據的梅爾倒譜系數特征作為音頻編碼模塊GE2E的輸入，音頻編碼模塊GE2E的采用廣義端到端損失函數GE2E進行訓練，生成關于音頻的固定維向量映射，優化音頻的特征編碼，加強不同個體音頻特征編碼的差異性，有效消除說話者之間的歧義；然后，將梅爾倒譜系數的GE2E音頻編碼作為概率階梯深度神經網絡模塊CGDL的輸入，梯深度神經網絡模塊CGDL結合多元高斯模型，設置概率階梯網絡，在隱空間生成已知類別的條件后驗分布，導出已知類別的多元高斯分布，判斷任意音頻數據是否屬于已知類別，對CGDL判定為已知類別的音頻數據進行分類，同時將CGDL判定為未知類別數據存儲在內存中，最后，對于由CGDL模塊判定為未知類別的音頻數據，構造并訓練無界交錯狀態神經網絡UISRNN，對音頻數據進行在線聚類，得到的聚類數目即是說話人的數目，某一聚類中的所有音頻數據從屬同一說話人。

2.如權利要求1所述的具備未知類別內部劃分能力的聲紋開集識別方法，其特征在于：在預加重預處理步驟中，語音信號通過一個高通濾波器進行預加重，補償語音信號受到發音系統所抑制的高頻部分，將變得平坦的頻譜保持在低頻到高頻的整個頻帶中。

3.如權利要求2所述的具備未知類別內部劃分能力的聲紋開集識別方法，其特征在于：預加重后，為了避免相鄰兩幀的變化過大，將N個采樣點集合成一個觀測單位，稱為幀，將信號切分為幀后，根據采樣點兩相鄰幀之間包含了M個取樣點的一段重疊區域，將信號分成短時幀，在這個短時間幀內，采用短時傅里葉變換STFT，通過連接相鄰幀來獲得信號的近似頻率輪廓。

4.如權利要求1所述的具備未知類別內部劃分能力的聲紋開集識別方法，其特征在于：在幀、加窗、快速傅里葉變換(FFT)預處理步驟中，分信號分幀后，將一個窗口函數應用于窗口隨時間滑動(Slide)或跳躍(hop)的每個幀，然后對分幀加窗后的各幀信號進行快速傅里葉變換FFT得到各幀的頻譜，并對語音信號的頻譜取模平方，得到語音信號的功率譜；短時傅里葉變換STFT將信號的特性轉換為頻域上的能量分布，被計算為一系列加窗數據幀，快速傅里葉變換FFT將每一幀乘以漢明窗增加幀左端和右端的連續性，各幀信號再經過快速傅里葉變換FFT得到各幀在頻譜上能量分布的頻譜。

5.如權利要求1所述的具備未知類別內部劃分能力的聲紋開集識別方法，其特征在于：在梅爾濾波器組過濾、取對數預處理步驟中，將上述FFT得到的各幀在頻譜上能量分布的頻譜送入Mel濾波器組進行濾波，將線性的自然頻譜轉換為體現人類聽覺特性的Mel頻譜，在Mel頻譜上面進行倒譜分析，取對數，通過DCT離散余弦變換DCT做逆變換，然后取DCT后的第2個到第13個系數作為語音特征是梅爾倒譜系數MFC，獲得Mel頻率倒譜系數MFCC，這個MFCC就是這幀語音的特征。