[發明專利]無監督學習的語音增強模型的訓練方法、系統和電子設備

在審

• 申請號: 202310072257.7
• 申請日: 2023-01-20
• 公開（公告）號: CN116129925A
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 俞凱;江文斌;張一帆
• 申請（專利權）人: 思必馳科技股份有限公司
• 主分類號: G10L21/0208
• 分類號: G10L21/0208;G10L21/0232;G10L25/45;G10L25/30;G10L25/18
• 代理公司: 北京商專永信知識產權代理事務所(普通合伙) 11400
• 代理人: 黃謙;侯曉艷

本發明實施例提供一種無監督學習的語音增強模型的訓練方法、系統和電子設備。該方法包括：將訓練數據集輸入至由降噪語音生成器以及判別器構建的基于對抗生成網絡的語音增強模型；將帶噪語音輸入至降噪語音生成器，輸出降噪語音，基于帶噪語音以及降噪語音確定降噪損失；將降噪語音以及非配對的干凈語音輸入至判別器，基于最優傳輸確定出對抗損失；基于降噪損失、對抗損失分別對降噪語音生成器以及判別器進行無監督學習訓練，得到無監督學習的語音增強模型。本發明實施例將最優傳輸的無監督訓練應用到對抗生成網絡的語音增強中。規避了一對一的帶噪語音?純凈語音數據對的使用，訓練出了更有效的語音增強模型。

技術領域

本發明涉及智能語音領域，尤其涉及一種無監督學習的語音增強模型的訓練方法、系統和電子設備。

背景技術

隨著語音技術的發展，自動語音識別、說話人識別等語音技術在真實世界中取得了越來越多的應用。開發人員在實驗室中設計了各種語音模型來為用戶提供語音交互服務，然而這些技術在真實應用場景中表現出的效果，往往不如在實驗室的理想環境下的效果。導致這一差距的一個重要因素是真實世界中的環境噪聲，環境噪聲的干擾而使得語音識別的準確率大大降低。為了降低環境噪聲的干擾而通常會使用語音增強技術。語音增強技術能去除語音中的干擾噪聲，提升語音識別性能。

對語音進行語音增強通常會使用到：基于神經網絡的語音增強方法，例如，訓練輸出時頻掩膜的網絡，首先將時域的語音信號變換到短時傅里葉變換頻域，或者直接輸入時域信號，再使用神經網絡估計某種時頻掩膜，最后使用該時頻掩膜與原始的帶噪聲語音相乘，即消除了原帶噪語音上的噪聲。也可以將卷積神經網絡和循環神經網絡進行組合或者自監督學習進行語音增強。

在實現本發明過程中，發明人發現相關技術中至少存在如下問題：

基于深度神經網絡的方法，在短時傅里葉頻域或者某種神經網絡學習的變換域進行降噪，不可避免的需要大量的訓練數據，其依賴大量干凈語音訓練數據的問題，這些數據在實際應用中很難做到。自監督學習的訓練數據對(例如，干凈音頻與該干凈音頻加噪處理后的帶噪語音進行配對)在實際中大量獲得仍然較為困難。在沒有純凈語音訓練數據對訓練時，直接將自監督方法直接運用于訓練神經網絡，無法得到較好的訓練結果，語音增強效果較差。

發明內容

為了至少解決現有技術中語音增強模型訓練需要的干凈音頻難以大量獲取，在訓練數據對(干凈音頻與帶噪語音是配對的)不足的情況下模型訓練結果不佳，語音增強效果較差的問題。第一方面，本發明實施例提供一種無監督學習的語音增強模型的訓練方法，包括：

將訓練數據集輸入至由降噪語音生成器以及判別器構建的基于對抗生成網絡的語音增強模型，其中，所述訓練數據集包括非配對的帶噪語音與干凈語音；

將所述帶噪語音輸入至所述降噪語音生成器，輸出降噪語音，基于所述帶噪語音以及所述降噪語音確定降噪損失；

將所述降噪語音以及非配對的所述干凈語音輸入至所述判別器，基于最優傳輸確定出對抗損失；

基于所述降噪損失、所述對抗損失分別對所述降噪語音生成器以及所述判別器進行無監督學習訓練，得到無監督學習的語音增強模型。

第二方面，本發明實施例提供一種無監督學習的語音增強模型的訓練系統，包括：

數據輸入程序模塊，用于將訓練數據集輸入至由降噪語音生成器以及判別器構建的基于對抗生成網絡的語音增強模型，其中，所述訓練數據集包括非配對的帶噪語音與干凈語音；

語音降噪程序模塊，用于將所述帶噪語音輸入至所述降噪語音生成器，輸出降噪語音，基于所述帶噪語音以及所述降噪語音確定降噪損失；

對抗判別程序模塊，用于將所述降噪語音以及非配對的所述干凈語音輸入至所述判別器，基于最優傳輸確定出對抗損失；