[發(fā)明專利]基于編碼解碼神經(jīng)網(wǎng)絡(luò)的回聲抑制方法及音頻裝置及設(shè)備

在審

• 申請?zhí)枺?/td>: 202010084801.6
• 申請日: 2020-02-10
• 公開（公告）號: CN111353258A
• 公開（公告）日: 2020-06-30
• 發(fā)明（設(shè)計）人: 曾志先;肖龍源;李稀敏;蔡振華;劉曉葳
• 申請（專利權(quán)）人: 廈門快商通科技股份有限公司
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06F119/10;G06N3/04;G06N3/08
• 代理公司: 廈門仕誠聯(lián)合知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 35227
• 代理人: 樂珠秀

1.一種基于編碼解碼神經(jīng)網(wǎng)絡(luò)的回聲抑制方法，其特征在于，包括以下步驟：

獲取無回聲音頻數(shù)據(jù)，并為所述無回聲音頻數(shù)據(jù)添加模擬回聲，生成帶回聲音頻數(shù)據(jù)；

將所述無回聲音頻數(shù)據(jù)轉(zhuǎn)換為無回聲頻譜圖，并提取所述無回聲頻譜圖的頻譜特征；以及，將所述帶回聲音頻數(shù)據(jù)轉(zhuǎn)換為帶回聲頻譜圖，并提取所述帶回聲頻譜圖的頻譜特征；

根據(jù)所述無回聲頻譜圖的頻譜特征和所述帶回聲頻譜圖的頻譜特征搭建編碼解碼神經(jīng)網(wǎng)絡(luò)模型；

將所述無回聲頻譜圖的頻譜特征作為標(biāo)簽數(shù)據(jù)，將所述帶回聲頻譜圖的頻譜特征作為輸入數(shù)據(jù)，對所述編碼解碼神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練，得到去回聲頻譜圖的預(yù)測模型；

將待處理音頻數(shù)據(jù)轉(zhuǎn)換為頻譜圖后輸入所述預(yù)測模型，輸出去回聲頻譜圖，并根據(jù)所述去回聲頻譜圖轉(zhuǎn)換得到去回聲音頻數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的基于編碼解碼神經(jīng)網(wǎng)絡(luò)的回聲抑制方法，其特征在于：通過在安靜無回聲的環(huán)境下錄制與人聲相關(guān)的音頻，作為所述無回聲音頻數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的基于編碼解碼神經(jīng)網(wǎng)絡(luò)的回聲抑制方法，其特征在于：通過Python中的音頻處理庫將所述無回聲音頻數(shù)據(jù)通過FFT算法轉(zhuǎn)換為無回聲頻譜圖；并將所述無回聲頻譜圖的頻譜特征通過Embedding嵌入處理轉(zhuǎn)為降維之后的特征數(shù)據(jù)，將所述特征數(shù)據(jù)作為所述編碼解碼神經(jīng)網(wǎng)絡(luò)模型的標(biāo)簽數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的基于編碼解碼神經(jīng)網(wǎng)絡(luò)的回聲抑制方法，其特征在于：通過Python中的室內(nèi)音頻陣列處理算法庫為音頻數(shù)據(jù)添加模擬回聲，通過所述室內(nèi)音頻陣列處理算法庫模擬環(huán)境的空間大小，以及設(shè)置回聲的大小和回聲的延長時間，生成對應(yīng)的帶回聲音頻數(shù)據(jù)。

5.根據(jù)權(quán)利要求4所述的基于編碼解碼神經(jīng)網(wǎng)絡(luò)的回聲抑制方法，其特征在于：通過Python中的音頻處理庫將所述帶回聲音頻數(shù)據(jù)通過FFT算法轉(zhuǎn)換為帶回聲頻譜圖；并將所述帶回聲頻譜圖的頻譜特征通過Embedding嵌入處理轉(zhuǎn)為降維之后的特征數(shù)據(jù)，將所述特征數(shù)據(jù)作為所述編碼解碼神經(jīng)網(wǎng)絡(luò)模型的輸入數(shù)據(jù)。

6.根據(jù)權(quán)利要求3或5所述的基于編碼解碼神經(jīng)網(wǎng)絡(luò)的回聲抑制方法，其特征在于：所述編碼解碼神經(jīng)網(wǎng)絡(luò)模型進一步包括編碼網(wǎng)絡(luò)和解碼網(wǎng)絡(luò)，其中：

所述編碼網(wǎng)絡(luò)用于對所述無回聲頻譜圖的頻譜特征或所述帶回聲頻譜圖的頻譜特征進行編碼操作，并將頻譜圖的特征維度轉(zhuǎn)換為二維的矩陣結(jié)構(gòu)；

所述解碼網(wǎng)絡(luò)用于將編碼后數(shù)據(jù)進行解碼操作，并將解碼后數(shù)據(jù)轉(zhuǎn)換為頻譜圖的特征維度。

7.根據(jù)權(quán)利要求6所述的基于編碼解碼神經(jīng)網(wǎng)絡(luò)的回聲抑制方法，其特征在于：所述編碼網(wǎng)絡(luò)進一步包括：

預(yù)處理網(wǎng)絡(luò)，包括三個全連接層，并且每個全連接層都有一個dropout處理；

CBHG網(wǎng)絡(luò)，包括卷積濾波器、高維網(wǎng)絡(luò)和雙向GRU網(wǎng)絡(luò)，所述卷積濾波器對所述預(yù)處理網(wǎng)絡(luò)的輸出結(jié)果進行卷積處理，并在所述卷積濾波器之后通過一個殘差網(wǎng)絡(luò)將卷積處理結(jié)果和所述Embedding嵌入處理之后的特征數(shù)據(jù)進行合并，將合并后數(shù)據(jù)輸入到所述高維網(wǎng)絡(luò)，最后將高維網(wǎng)絡(luò)的輸出結(jié)果作為所述雙向GRU網(wǎng)絡(luò)的輸入，輸出正向的RNN結(jié)果和反向的RNN結(jié)果；

注意力網(wǎng)絡(luò)，用于計算所述正向的RNN結(jié)果和所述反向的RNN結(jié)果的注意力概率值。

8.根據(jù)權(quán)利要求7所述的基于編碼解碼神經(jīng)網(wǎng)絡(luò)的回聲抑制方法，其特征在于：所述解碼網(wǎng)絡(luò)進一步包括：

預(yù)處理網(wǎng)絡(luò)，與所述編碼網(wǎng)絡(luò)的預(yù)處理網(wǎng)絡(luò)的結(jié)構(gòu)相同，其通過全連接網(wǎng)絡(luò)對所述注意力概率值進行非線性的變換處理；

注意力-循環(huán)神經(jīng)網(wǎng)絡(luò)，包括一層包含256個門控循環(huán)單元，其將所述預(yù)處理網(wǎng)絡(luò)的輸出結(jié)果和所述注意力概率值作為輸入，經(jīng)所述GRU單元后輸出至解碼-循環(huán)神經(jīng)網(wǎng)絡(luò)；

解碼-循環(huán)神經(jīng)網(wǎng)絡(luò)，包括兩層的殘差門控循環(huán)單元，每層同樣包含了256個門控循環(huán)單元，并進一步通過維度轉(zhuǎn)換的方式或者通過一個RNN網(wǎng)絡(luò)將所述殘差門控循環(huán)單元的輸出維度轉(zhuǎn)換為頻譜圖的維度。