[發明專利]用于消除回聲的方法、裝置、電子設備和存儲介質

在審

• 申請號: 202110470184.8
• 申請日: 2021-04-28
• 公開（公告）號: CN113192527A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 崔凡;李楠;張晨
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G10L21/0208
• 分類號: G10L21/0208;G10L25/30;G06N3/04;G06N3/08
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 曾世驍;田方

本公開提供了一種消除回聲的方法、裝置、電子設備和存儲介質，所述方法包括：獲取近端麥克風音頻信號和遠端回聲信號；提取近端麥克風音頻信號的幅度譜特征和遠端回聲信號的幅度譜特征；將提取的近端麥克風音頻信號的幅度譜特征和遠端回聲信號的幅度譜特征輸入回聲消除模型，并從回聲消除模型獲得作為輸出的回聲消除后的信號。根據本公開的回聲消除模型基于深度學習被訓練為針對噪聲和長延遲具有更高的魯棒性，能夠實現更好的回聲消除效果。

技術領域

本公開涉及通信技術領域，尤其涉及一種用于消除回聲的方法、裝置、電子設備和存儲介質。

背景技術

回聲是近端音頻信號經過一系列反射之后又傳回來的信號，大多數回聲會造成負面影響，例如在有線或無線通信中聽到自己的講話的聲音，因此回聲消除(Acoustic EchoCancellation，AEC)作為實時通訊中重要的技術，是保證音視頻體驗的關鍵點。

近些年來，基于神經網絡的音頻信號處理方法得到了越來越多的應用，相比于傳統算法，在較多的數據驅動下，基于深度學習的方法往往能得到更好的效果。利用深度學習的回聲消除算法大致可以分為兩類：第一類是利用傳統自適應濾波器的回聲消除算法；第二類是利用深度學習的回聲消除算法。基于深度學習的回聲消除算法通常有時域和時頻域兩種處理方向，基于時域的處理方法是指在時域上對音頻進行處理最后得到降噪之后的音頻波形的方法，基于時頻域的方法是指將原始時域波形信號進行短時傅里葉變換(STFT：Short-Time Fourier Transform)到時頻域特征，經過神經網絡一系列處理之后，再將時頻域信號做短時反傅里葉變換(ISTFT：Inverse Short-Time Fourier Transform)到時域，得到回聲消除處理后波形的方式。

相關技術的基于自適應濾波器的回聲消除算法在遠端單講的情況下，估計參考信號到回聲的回聲路徑，通過估計的回聲路徑和使用參考信號得到估計的回聲，最后用近端麥克風信號減去估計的回聲分量，得到回聲消除之后的信號。然而，該方法需要雙講檢測，漏檢會導致濾波器發散，而且實際場景中包含各種噪聲場景，自適應算法會受到背景噪聲的干擾導致回聲路徑估計不準確。另外，實際場景包含各種設備的非線性失真，基于自適應濾波器的回聲消除算法難以消除非線性回聲信號。

相關技術的基于深度學習的方法一般是將問題轉化為預測時頻域掩碼的方法，利用遠端參考信號的近端麥克風信號估計一組時頻域掩碼，將近端麥克風信號的時頻域特征乘上掩碼得到預測的回聲消除后的信號的時頻域特征，再通過ISTFT變化得到時域信號點。然而，基于深度學習的方法需要大量的數據支持，但現實生活中包含各種復雜場景，所以在現實場景中魯棒性較差，特別是在長延遲的情況下，相關技術的基于深度學習的方法難以消除遠端回聲。

發明內容

根據本公開的示例性實施例的第一方面，提供一種訓練回聲消除模型的方法，包括：使用遠端參考信號f來生成模擬的遠端回聲信號f′，并使用模擬的遠端回聲信號f′、近端干凈音頻信號c和噪聲信號n來生成模擬的近端麥克風信號m；將遠端參考信號f和近端麥克風信號m轉換到時頻域以提取遠端參考信號f的幅度譜Mag_F和近端麥克風信號m的幅度譜Mag_M；以近端麥克風信號的幅度譜Mag_M和遠端參考信號的幅度譜Mag_F作為回聲消除模型的輸入特征，以近端干凈音頻信號c、遠端回聲信號f′以及遠端回聲信號f′相對于遠端參考信號f的隨機延遲時間T作為回聲消除模型的訓練目標來訓練回聲消除模型。

根據本公開的示例性實施例的第一方面，所述使用遠端參考信號f來生成遠端回聲信號f′包括：獲得遠端參考信號f的房間沖擊響應信號；對所述房間沖擊響應信號執行截幅，并以隨機延遲時間T對截幅后的信號進行延遲處理以生成遠端回聲信號f′。