[發(fā)明專利]基于多特征流結(jié)構(gòu)深度神經(jīng)網(wǎng)絡(luò)的殘留回聲抑制方法

在審

• 申請?zhí)枺?/td>: 202010940284.8
• 申請日: 2020-09-09
• 公開（公告）號: CN112037809A
• 公開（公告）日: 2020-12-04
• 發(fā)明（設(shè)計）人: 陳宏圣;盧晶
• 申請（專利權(quán)）人: 南京大學(xué)
• 主分類號: G10L21/0208
• 分類號: G10L21/0208;G10L21/0216;G10L25/18;G10L25/27;G10L25/30;G10L15/06
• 代理公司: 江蘇法德東恒律師事務(wù)所 32305
• 代理人: 李媛媛

本發(fā)明公開了一種基于多特征流結(jié)構(gòu)深度神經(jīng)網(wǎng)絡(luò)的殘留回聲抑制方法。該方法具體步驟為：(1)通過自適應(yīng)濾波算法構(gòu)造帶有殘留回聲和背景噪聲的帶噪近端語音以及自適應(yīng)濾波器輸出信號；使用自適應(yīng)濾波器輸出信號或遠端信號或以上兩種信號，作為具有多特征流結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型的參考信號；(2)使用帶噪語音信號和參考信號作為神經(jīng)網(wǎng)絡(luò)模型的輸入特征；使用純凈的近端語音作為模型的訓(xùn)練目標(biāo)，訓(xùn)練模型；(3)將訓(xùn)練完成的具有多特征流結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型作為后處理濾波器，對自適應(yīng)濾波器處理后的信號中的殘留回聲和背景噪聲進行抑制，增強近端說話人的音頻信號。本發(fā)明能夠在高殘留回聲的場景下，有效去除殘留回聲對近端語音的影響。

技術(shù)領(lǐng)域

本發(fā)明屬于回聲抑制領(lǐng)域，具體涉及一種基于多特征流結(jié)構(gòu)深度神經(jīng)網(wǎng)絡(luò)的非線性殘留回聲抑制方法。

背景技術(shù)

在通信系統(tǒng)中，遠端信號由揚聲器系統(tǒng)轉(zhuǎn)換為聲信號后，經(jīng)回聲聲學(xué)路徑被傳聲器系統(tǒng)采集后將產(chǎn)生回聲信號。回聲信號將嚴重干擾語音通信的質(zhì)量，并降低語音識別系統(tǒng)的準(zhǔn)確性。抑制回聲信號，提取近端說話人語音信號的技術(shù)稱為回聲抑制。

典型的回聲抑制方法是使用自適應(yīng)線性聲回聲抵消(LAEC)算法匹配該聲回聲傳遞路徑對應(yīng)的傳遞函數(shù)，并使用后處理濾波器進一步抑制殘留回聲信號。在多種自適應(yīng)算法中，頻域最小二乘自適應(yīng)濾波器算法及其派生算法具有較快的收斂速度和較低的計算負擔(dān)，常常應(yīng)用于實際的回聲抑制任務(wù)之中。

當(dāng)回聲路徑存在不可忽視的非線性效應(yīng)時，基于線性系統(tǒng)假設(shè)的回聲抑制系統(tǒng)的性能將大幅下降，因此需要抑制LAEC系統(tǒng)處理后的信號中的殘留回聲。殘留回聲抑制系統(tǒng)常常使用遠端信號、自適應(yīng)濾波器系數(shù)以及LAEC系統(tǒng)處理后的信號對殘留回聲的幅度進行估計，并依此對殘留回聲信號進行抑制。這部分基于信號處理的方法常常難以在殘留回聲抑制和近端語音失真方面取得很好的平衡。針對該問題，學(xué)者們將深度神經(jīng)網(wǎng)絡(luò)引入到殘留回聲抑制系統(tǒng)中，以提高對非線性殘留回聲的抑制效果。其中多數(shù)都使用短時傅里葉變換提取時域特征，并以時頻譜的幅值作為輸入特征。一方面，短時傅里葉變換的處理時延與頻域分辨率之間存在沖突；另一方面，使用幅度譜或其掩模作為訓(xùn)練目標(biāo)無法恢復(fù)相位信息，從而限制了網(wǎng)絡(luò)的性能。

Conv-TasNet網(wǎng)絡(luò)(Luo Y,Mesgarani N.Conv-TasNet:Surpassing Ideal Time–Frequency Magnitude Masking for Speech Separation[J].IEEE Transactions onAudio,Speech,and Language Processing,2019,27(8):1256-1266.)，即全卷積時域語音分離網(wǎng)絡(luò)，是一種端到端的語音分離網(wǎng)絡(luò)。在語音分離任務(wù)上，該網(wǎng)絡(luò)的端到端處理使該網(wǎng)絡(luò)可以具有較短的處理時延，也使得該網(wǎng)絡(luò)相比基于時頻譜掩模的方法獲得了更好的效果。考慮到殘留回聲抑制任務(wù)可以視為僅針對近端語音進行提取的語音增強任務(wù)，將語音分離任務(wù)相關(guān)的Conv-TasNet模型拓展至殘留回聲抑制領(lǐng)域存在可行性。

發(fā)明內(nèi)容

現(xiàn)有殘留回聲抑制技術(shù)在存在近端語音且殘留回聲干擾較高的情況下，常常難以有效抑制殘留回聲信號，也往往存在對近端語音的過度抑制，影響了殘留回聲抑制的效果。本發(fā)明提出了一種基于多特征流結(jié)構(gòu)深度神經(jīng)網(wǎng)絡(luò)的殘留回聲抑制方法，該方法在存在較高的殘留回聲干擾的情況下，能有效地提取近端語音信號。

本發(fā)明采用的技術(shù)方案為：

基于多特征流結(jié)構(gòu)深度神經(jīng)網(wǎng)絡(luò)的殘留回聲抑制方法，包括以下步驟：

步驟1，利用純凈的語音信號、背景噪聲、回聲信號以及與回聲信號對應(yīng)的遠端信號，通過自適應(yīng)濾波算法，構(gòu)造帶有殘留回聲和背景噪聲的帶噪近端語音以及自適應(yīng)濾波器輸出信號；