[發明專利]一種基于聲紋比對和生成對抗網絡的語音增強方法

有效

• 申請號: 201811353760.5
• 申請日: 2018-11-14
• 公開（公告）號: CN109326302B
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 鐘艷如;張家豪;趙帥杰;李芳;藍如師;羅笑南
• 申請（專利權）人: 桂林電子科技大學
• 主分類號: G10L21/0208
• 分類號: G10L21/0208;G10L21/0264;G10L17/00
• 代理公司: 桂林市華杰專利商標事務所有限責任公司 45112
• 代理人: 楊雪梅

本發明公開一種基于聲紋比對和生成對抗網絡的語音增強方法，1）建立三個語音數據庫,分別對應聲紋識別編碼器、噪聲分離系統和語音分離系統；2）訓練聲紋識別編碼器提取目標說話者的聲紋特征，得目標聲紋特征；3）將帶噪音頻轉化成語譜圖送入噪聲分離系統中的生成器中，得預測干凈音頻；4）將預測干凈音頻和真實干凈音頻送入噪聲分離系統中的鑒別器訓練；5）調整鑒別器權重參數，使鑒別器更好地分辨出真實干凈音頻和預測干凈音頻的區別，得到產生近乎真實的干凈音頻的生成器；6）將說話者的聲音送入已經訓練好的生成器中，生成預測干凈語譜圖，得到增強的語音信號。該方法規模小、計算低、易于移植、保持一定的空間不變性且去噪效果好。

技術領域

本發明涉及語音增強技術領域，具體是一種基于聲紋比對和生成對抗網絡的語音增強方法。

背景技術

隨著社會的發展，電子產品的普及，人們對語音質量的要求越來越高。如何提高電子產品在嘈雜環境下的移動通信質量已經成為當下最熱門的研究方向。而語音增強可以提高噪聲環境下語音的質量和可理解性，語音增強不僅在助聽器和人工耳蝸領域有著重要的應用，而且已成功應用于語音識別和說話人識別系統中的預處理階段。

經典的語音增強的方法有譜減法、維納濾波、基于統計模型的方法和子空間算法。自80年代以來，神經網絡也被應用于語音增強。近些年，去噪自編碼架構已被廣泛采用。例如，循環去噪自編碼在對音頻信號上下文信息的處理上表現良好。最近長短期記憶網絡也被應用于去噪任務。盡管上述這些方法都可以取得不錯的效果，但是卻需要大量的數據和計算量，難以移植到嵌入式設備。而且，這些方法往往依賴于訓練集，輸出的干凈音頻是基于訓練集輸出干凈音頻的平均值，會比較模糊，對細節的處理并不盡如人意。

發明內容

本發明的目的在于克服現有技術的不足，而提供一種基于聲紋比對和生成對抗網絡的語音增強方法，該方法規模小、計算更低、易于移植、保持一定的空間不變性且去噪效果好。

實現本發明目的的技術方案是：

一種基于聲紋比對和生成對抗網絡的語音增強方法，包括如下步驟：

1)建立三個語音數據庫,分別對應聲紋識別編碼器、噪聲分離系統和語音分離系統；

2)訓練聲紋識別編碼器提取目標說話者的聲紋特征，得到目標聲紋特征；

3)將帶噪的音頻轉化成語譜圖送入噪聲分離系統中的生成器中，生成器根據聲紋識別編碼器提取的目標聲紋特征分離出目標說話者的聲音，得到預測干凈音頻；

4)將步驟3)得到的預測干凈音頻和步驟1)語音分離系統中真實干凈音頻送入噪聲分離系統中的鑒別器進行訓練,使鑒別器分辨出說話者的聲音通過噪聲分離系統所生成的預測語譜圖是否符合真實音頻的分布；

5)調整鑒別器權重參數，使鑒別器更好地分辨出真實干凈音頻和生成器產生的預測干凈音頻的區別，根據鑒別器區分結果更新生成器的權重參數，直至鑒別器分辨不出生成器產生的預測音頻和真實的干凈音頻的區別，得到可以產生近乎真實的干凈音頻的生成器；

6)通過傳聲器收集說話者的聲音，經短時傅里葉變換轉化成語譜圖送入已經訓練好的生成器中，生成預測干凈語譜圖，再通過反短時傅里葉變換轉化成語音模擬信號，語音模擬信號經揚聲器播放出來，即得到增強的語音信號。

所述的聲紋識別編碼器為2000NISI Speaker Recongnition Evaluation語音庫的聲紋識別編碼器；所述的噪聲分離系統為100-nonspeech噪音庫的噪聲分離系統；所述的語音分離系統為TIMIT語音庫的語音分離系統。