[發明專利]一種語音增強方法、裝置及存儲介質

有效

• 申請號: 202110540097.5
• 申請日: 2021-05-18
• 公開（公告）號: CN113299300B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 王杰;田嘉怡;袁旻忞
• 申請（專利權）人: 廣州大學
• 主分類號: G10L21/02
• 分類號: G10L21/02;G10L21/0208;G10L21/0224;G10L21/0232;G10L25/30
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 黎揚鵬

本發明公開了一種語音增強方法、裝置及存儲介質，本發明通過將純凈語音數據輸入判別網絡進行訓練，使得判別網絡的輸出結果表征真實結果，得到判別網絡模型，根據噪聲語音數據對生成網絡進行訓練，得到生成網絡模型；生成網絡模型的輸出結果輸入至判別網絡模型使得判別網絡模型的輸出結果表征真實結果，通過引入生成對抗網絡保證生成網絡模型輸出結果為所需要的真實結果，從而使得待處理語音輸入生成網絡模型后得到的增強語音為去除噪聲的純凈語音；而通過時域卷積網絡對判別網絡以及生成網絡中的至少一個進行訓練，可以使得所訓練過程穩定，訓練過程中能夠保留更加長期的記憶且更加靈活。本發明作為可廣泛應用于語音處理領域。

技術領域

本發明涉及語音處理領域，尤其是一種語音增強方法、裝置及存儲介質。

背景技術

目前，手機、服務機器人和翻譯機等等具有語音交互功能的電子產品的應用范圍越來越廣泛，能應用于不同的環境中。而在使用語音交互功能時，環境當中會具有噪聲從而影響用戶的體驗。相關技術中，為了消除噪聲，將帶噪聲的語音輸入至深度神經網絡模型(例如CNN(Convolutional?Neural?Networks，卷積神經網絡)進行訓練，利用訓練后的深度神經網絡模型進行語音噪聲的過濾。然而，現有的深度神經網絡模型的訓練過程中，當網絡模型的層次達到一深度后，其只能保留短期記憶，存在無法靈活輸出等長序列的問題，因此有必要設計一種新的語音處理方法。

發明內容

有鑒于此，為了解決上述技術問題，本發明的目的是提供一種語音增強方法、裝置及存儲介質。

本發明采用的技術方案是：

一種語音增強方法，包括：

獲取訓練數據集；所述訓練數據集包括純凈語音數據以及噪聲語音數據；

將所述純凈語音數據輸入判別網絡進行訓練，使得所述判別網絡的輸出結果表征真實結果，得到判別網絡模型；

根據所述噪聲語音數據對生成網絡進行訓練，得到生成網絡模型；所述生成網絡模型的輸出結果輸入至所述判別網絡模型使得所述判別網絡模型的輸出結果表征真實結果，所述判別網絡以及所述生成網絡中的至少一個基于時域卷積網絡進行訓練；

將待處理語音輸入所述生成網絡模型，得到增強語音。

進一步，所述根據所述噪聲語音數據對生成網絡進行訓練，得到生成網絡模型，包括：

對噪聲語音數據進行數據處理，得到噪聲語音數據的幅度譜和相位譜；

將所述幅度譜輸入所述生成網絡提取語音特征；

根據所述相位譜和所述語音特征進行語音重構；

將語音重構結果輸入至所述判別網絡模型，并根據所述判別網絡模型的輸出結果對所述生成網絡的網絡參數進行調整，根據調整后的生成網絡生成所述生成網絡模型。

進一步，所述幅度譜包括幀序列，所述將所述幅度譜輸入所述生成網絡提取語音特征，包括：

通過第一二維因果卷積層集合對所述幀序列進行因果卷積處理，得到不同尺寸的第一因果卷積處理結果；所述第一二維因果卷積層集合包括若干個第一二維因果卷積層，每一所述第一二維因果卷積層輸入的幀數和輸出的幀數相同；

對所述第一因果卷積處理結果進行第一處理，得到一維信號；所述第一處理包括批歸一化和非線性處理；

通過時域卷積模塊對所述一維信號進行處理，得到所述語音特征。

進一步，所述時域卷積模塊包括膨脹塊，所述通過時域卷積模塊對所述一維信號進行處理，根據處理結果得到所述語音特征，包括：

通過膨脹塊對所述一維信號進行膨脹卷積處理，得到所述語音特征；所述膨脹卷積處理基于膨脹因子定義，所述膨脹因子用于調整所述時域卷積網絡的接收范圍。