[發(fā)明專利]一種語音增強(qiáng)方法、裝置及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110540097.5
• 申請(qǐng)日: 2021-05-18
• 公開（公告）號(hào): CN113299300B
• 公開（公告）日: 2023-09-26
• 發(fā)明（設(shè)計(jì)）人: 王杰;田嘉怡;袁旻忞
• 申請(qǐng)（專利權(quán)）人: 廣州大學(xué)
• 主分類號(hào): G10L21/02
• 分類號(hào): G10L21/02;G10L21/0208;G10L21/0224;G10L21/0232;G10L25/30
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 黎揚(yáng)鵬

1.一種語音增強(qiáng)方法，其特征在于，包括：

獲取訓(xùn)練數(shù)據(jù)集；所述訓(xùn)練數(shù)據(jù)集包括純凈語音數(shù)據(jù)以及噪聲語音數(shù)據(jù)；

將所述純凈語音數(shù)據(jù)輸入判別網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使得所述判別網(wǎng)絡(luò)的輸出結(jié)果表征真實(shí)結(jié)果，得到判別網(wǎng)絡(luò)模型；

根據(jù)所述噪聲語音數(shù)據(jù)對(duì)生成網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到生成網(wǎng)絡(luò)模型；所述生成網(wǎng)絡(luò)模型的輸出結(jié)果輸入至所述判別網(wǎng)絡(luò)模型使得所述判別網(wǎng)絡(luò)模型的輸出結(jié)果表征真實(shí)結(jié)果，所述判別網(wǎng)絡(luò)以及所述生成網(wǎng)絡(luò)中的至少一個(gè)基于時(shí)域卷積網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

將待處理語音輸入所述生成網(wǎng)絡(luò)模型，得到增強(qiáng)語音；

所述根據(jù)所述噪聲語音數(shù)據(jù)對(duì)生成網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到生成網(wǎng)絡(luò)模型，包括：

對(duì)噪聲語音數(shù)據(jù)進(jìn)行數(shù)據(jù)處理，得到噪聲語音數(shù)據(jù)的幅度譜和相位譜；

將所述幅度譜輸入所述生成網(wǎng)絡(luò)提取語音特征；

根據(jù)所述相位譜和所述語音特征進(jìn)行語音重構(gòu)；

將語音重構(gòu)結(jié)果輸入至所述判別網(wǎng)絡(luò)模型，并根據(jù)所述判別網(wǎng)絡(luò)模型的輸出結(jié)果對(duì)所述生成網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整，根據(jù)調(diào)整后的生成網(wǎng)絡(luò)生成所述生成網(wǎng)絡(luò)模型；

所述幅度譜包括幀序列，所述將所述幅度譜輸入所述生成網(wǎng)絡(luò)提取語音特征，包括：

通過第一二維因果卷積層集合對(duì)所述幀序列進(jìn)行因果卷積處理，得到不同尺寸的第一因果卷積處理結(jié)果；所述第一二維因果卷積層集合包括若干個(gè)第一二維因果卷積層，每一所述第一二維因果卷積層輸入的幀數(shù)和輸出的幀數(shù)相同；

對(duì)所述第一因果卷積處理結(jié)果進(jìn)行第一處理，得到一維信號(hào)；所述第一處理包括批歸一化和非線性處理；

通過時(shí)域卷積模塊對(duì)所述一維信號(hào)進(jìn)行處理，得到所述語音特征。

2.根據(jù)權(quán)利要求1所述語音增強(qiáng)方法，其特征在于：所述時(shí)域卷積模塊包括膨脹塊，所述通過時(shí)域卷積模塊對(duì)所述一維信號(hào)進(jìn)行處理，根據(jù)處理結(jié)果得到所述語音特征，包括：

通過膨脹塊對(duì)所述一維信號(hào)進(jìn)行膨脹卷積處理，得到所述語音特征；所述膨脹卷積處理基于膨脹因子定義，所述膨脹因子用于調(diào)整所述時(shí)域卷積網(wǎng)絡(luò)的接收范圍。

3.根據(jù)權(quán)利要求2所述語音增強(qiáng)方法，其特征在于：所述膨脹塊包括第一殘差塊和第二殘差塊，所述通過膨脹塊對(duì)所述一維信號(hào)進(jìn)行膨脹卷積處理，包括：

通過第一殘差塊對(duì)所述一維信號(hào)進(jìn)行第一殘差處理，并通過第二殘差塊對(duì)第一殘差處理結(jié)果進(jìn)行第二殘差處理，其中所述第一殘差塊和所述第二殘差塊的所述膨脹因子按照預(yù)設(shè)規(guī)則遞增；所述通過第一殘差塊對(duì)所述一維信號(hào)進(jìn)行第一殘差處理，包括：

通過第一殘差塊對(duì)所述一維信號(hào)進(jìn)行第一卷積處理；

對(duì)第一卷積處理結(jié)果進(jìn)行第一批量歸一化；

對(duì)第一批量歸一化結(jié)果進(jìn)行非線性處理；

對(duì)非線性處理結(jié)果進(jìn)行第二批量歸一化；

對(duì)第二批量歸一化結(jié)果進(jìn)行第二卷積處理。

4.根據(jù)權(quán)利要求1所述語音增強(qiáng)方法，其特征在于：根據(jù)所述相位譜和所述語音特征進(jìn)行語音重構(gòu)，包括：

根據(jù)所述相位譜與所述語音特征，通過第二二維因果卷積層集合進(jìn)行因果轉(zhuǎn)置卷積處理實(shí)現(xiàn)語音重構(gòu)；所述第二二維因果卷積層集合包括若干個(gè)第二二維因果卷積層，每一所述第二二維因果卷積層與所述第一二維因果卷積層集合中對(duì)稱的第一二維因果卷積層的輸出連接。

5.根據(jù)權(quán)利要求1-4任一項(xiàng)所述語音增強(qiáng)方法，其特征在于：所述根據(jù)所述噪聲語音數(shù)據(jù)對(duì)生成網(wǎng)絡(luò)進(jìn)行訓(xùn)練，包括：

根據(jù)所述噪聲語音數(shù)據(jù)對(duì)生成網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并在訓(xùn)練過程中根據(jù)預(yù)設(shè)丟包率對(duì)生成網(wǎng)絡(luò)進(jìn)行網(wǎng)絡(luò)正則化。