[發明專利]一種自監督聲紋識別方法和系統

在審

• 申請號: 202211000487.4
• 申請日: 2022-08-19
• 公開（公告）號: CN115457964A
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 張廣學;肖龍源;李海洲;李稀敏;葉志堅
• 申請（專利權）人: 廈門快商通科技股份有限公司
• 主分類號: G10L17/04
• 分類號: G10L17/04;G10L15/02;G10L15/16;G10L25/30
• 代理公司: 廈門市首創君合專利事務所有限公司 35204
• 代理人: 王婷婷

本發明提供一種自監督聲紋識別方法，包括：獲取語音數據，并將語音數據處理為4s一段的語音片段；將語音片段分為三個子片段，第一子片段為0?2s的語音，第二子片段為1?3s的語音，第三子片段為2?4s的語音，并將第三子片段集進行增強得到增強后的第三子片段集；將第一子片段集和第二子片段集輸入teacher網絡訓練，將增強后的第三子片段集輸入student網絡訓練；在每一次迭代后，對同層神經元的權重參數進行相似性計算，完成訓練。本發明提供的方法，通過重疊音頻與原始音頻的差異化損失，來進行網絡參數的優化訓練；且提出一種解決可能出現的神經網絡權重參數同質化問題的方案，保證了同一條語音不同部分的整體視野與重疊視野聲紋特征統一，提高了聲紋識別的準確率。

技術領域

本發明涉及聲紋識別領域，特別是指一種自監督聲紋識別方法和系統。

背景技術

聲紋識別是生物識別技術的一種，通過對語音進行處理可生成用于指示該語音輸入者身份信息的身份向量，可通過計算兩段語音的身份向量之間的相似度來確定這兩段語音的輸入者是否為同一用戶。

現有聲紋識別技術多是監督式聲紋識別訓練方法，訓練數據需要有標簽，當然還有一些半監督聲紋識別訓練方法，也需要有足夠的標簽。

然而，對數據進行標簽化需要大量的人力、物力和財力，這就造成了訓練數據的不足。實際上，可以采集到的語音數據有很多，但是這些數據缺少標簽或是標簽可能存在錯誤。為了極大利用這些語音數據，提出了自監督聲紋識別訓練方法。但現有的自監督聲紋訓練方法與監督式聲紋訓練方法相比還有一定的差距。

發明內容

本發明的主要目的在于克服現有技術中的上述缺陷，提出一種自監督聲紋識別方法，通過重疊音頻與原始音頻的差異化損失，來進行網絡參數的優化訓練。另外，提出了一種解決可能出現的神經網絡權重參數同質化問題的方案，保證了同一條語音不同部分的整體視野與重疊視野聲紋特征統一，提高了聲紋識別的準確率。

本發明采用如下技術方案：

一種自監督聲紋識別方法，包括：

獲取語音數據，并將語音數據處理為4s一段的語音片段；

將語音片段分為三個子片段，第一子片段為0-2s的語音，第二子片段為1-3的語音，第三子片段為2-4s的語音，得到第一子片段集、第二子片段集以及第三子片段集，并將第三子片段集進行增強得到增強后的第三子片段集；

將第一子片段集和第二子片段集輸入teacher網絡訓練，將增強后的第三子片段集輸入student網絡訓練；teacher網絡訓練為：teacher網絡的embedding層先進行隨機mask，然后對teacher所有輸出embedding進行平均，student網絡訓練為：對student網絡的embedding層進行隨機mask，然后用mask后的embedding層與原始student網絡中的embedding層進行損失計算；

在每一次迭代后，對同層神經元的權重參數進行相似性計算，完成訓練。

具體地，所述將第三子片段集進行增強得到增強后的第三子片段集，具體為：

第三子片段集采用Musan、RIRS_NOISES數據集進行增強，以及頻域的時間、頻譜增強。

具體地，所述teacher網絡、student網絡為包括但不限于repvgg、resnet、ecapa-tdnn、dpn任一神經網絡。

具體地，所述teacher網絡和students網絡采用相同的網絡參數，teacher網絡增加dropout層。

具體地，所述在每一次迭代后，對同層神經元的權重參數進行相似性計算，具體為：