[發(fā)明專利]執(zhí)行回聲消除的通信設(shè)備和方法及計算機可讀介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010141534.1
• 申請日: 2020-03-03
• 公開（公告）號: CN111756942A
• 公開（公告）日: 2020-10-09
• 發(fā)明（設(shè)計）人: 阿明·法澤德科迪;李正元;摩斯塔法·艾爾卡米
• 申請（專利權(quán)）人: 三星電子株式會社
• 主分類號: H04M9/08
• 分類號: H04M9/08;G06N3/04;G06N3/08
• 代理公司: 北京市立方律師事務(wù)所 11330
• 代理人: 李娜

提供了一種執(zhí)行回聲消除的通信設(shè)備和方法及計算機可讀介質(zhì)。方法包括：在近端設(shè)備處從遠端設(shè)備接收遠端信號；在近端設(shè)備處記錄包括近端信號和與遠端信號對應(yīng)的回聲信號的麥克風信號；從遠端信號提取多個遠端特征；從麥克風信號提取多個麥克風特征；將麥克風特征和遠端特征提供給聲學(xué)回聲消除模塊，以根據(jù)麥克風信號計算多個估計的近端特征，聲學(xué)回聲消除模塊包括：包括遞歸神經(jīng)網(wǎng)絡(luò)的第一堆疊的回聲估計器，第一堆疊基于遠端特征計算多個估計的回聲特征；以及包括遞歸神經(jīng)網(wǎng)絡(luò)的第二堆疊的近端估計器，第二堆疊基于第一堆疊的輸出和麥克風特征計算估計的近端特征；根據(jù)估計的近端特征計算估計的近端信號；以及將估計的近端信號發(fā)送到遠端設(shè)備。

相關(guān)申請的交叉引用

本申請要求于2019年3月28日在美國專利和商標局提交的美國臨時 專利申請No.62/825,681、于2019年4月24日在美國專利和商標局提交 的美國臨時專利申請No.62/838,146以及于2019年9月17日在美國專利 和商標局提交的美國非臨時專利申請No.16/573,573的優(yōu)先權(quán)和利益，通 過引用將這些申請的全部公開內(nèi)容合并與此。

技術(shù)領(lǐng)域

本公開的實施例的方面涉及音頻信號處理領(lǐng)域，具體地包括使用深度 多任務(wù)遞歸神經(jīng)網(wǎng)絡(luò)提供聲學(xué)回聲消除的系統(tǒng)和方法。

背景技術(shù)

在實時或接近實時的音頻或視頻會議交互期間，遠端參與者可能會注 意到從近端參與者接收的信號中的聲學(xué)回聲(acoustic echo)。當從近端揚 聲器發(fā)出的遠端信號耦合回到近端麥克風時，可能會產(chǎn)生聲學(xué)回聲。當來 自近端麥克風的信號被發(fā)送到遠端時，遠端用戶聽到近端信號(例如，來 自近端參與者的語音)和作為聲學(xué)回聲的他們自身的遠端語音的延遲和修 改版本的混合音。聲學(xué)回聲消除器(AEC)或聲學(xué)回聲抑制器(AES)試 圖減少或消除該回聲，同時避免使近端用戶的語音失真(例如，不使近端 信號失真)。

發(fā)明內(nèi)容

本公開的實施例的各方面涉及使用深度多任務(wù)遞歸神經(jīng)網(wǎng)絡(luò)消除音頻通 信系統(tǒng)中的聲學(xué)回聲。

根據(jù)一個實施例，一種用于執(zhí)行回聲消除的方法包括：在近端設(shè)備處從 遠端設(shè)備接收遠端信號；在所述近端設(shè)備處記錄麥克風信號，所述麥克風 信號包括：近端信號；以及與所述遠端信號對應(yīng)的回聲信號；從所述遠端 信號中提取多個遠端特征；從所述麥克風信號中提取多個麥克風特征；通 過將所述麥克風特征和所述遠端特征提供給聲學(xué)回聲消除模塊來根據(jù)所 述麥克風信號計算多個估計的近端特征，所述聲學(xué)回聲消除模塊包括：回聲估計器，所述回聲估計器包括遞歸神經(jīng)網(wǎng)絡(luò)的第一堆疊，所述第一堆疊 被配置為基于所述遠端特征來計算多個估計的回聲特征；以及近端估計器， 所述近端估計器包括所述遞歸神經(jīng)網(wǎng)絡(luò)的第二堆疊，所述第二堆疊被配置 為基于所述第一堆疊的輸出和所述麥克風特征來計算所述估計的近端特 征；根據(jù)所述估計的近端特征計算估計的近端信號；以及將所述估計的近 端信號發(fā)送到所述遠端設(shè)備。

提供給所述回聲估計器和所述近端估計器的所述遠端特征可以包括 當前幀的遠端特征和多個先前幀的因果窗口的遠端特征，并且提供給所述 近端估計器的所述麥克風特征可以包括所述當前幀的麥克風特征和所述 多個先前幀的所述因果窗口的麥克風特征。

所述估計的回聲特征可以包括所述當前幀的估計的回聲特征和所述 多個先前幀的所述因果窗口的估計的回聲特征，所述估計的近端特征可以 包括所述當前幀的估計的近端特征和所述多個先前幀的所述因果窗口的 估計的近端特征，并且所述遞歸神經(jīng)網(wǎng)絡(luò)通過迭代地訓(xùn)練配置所述回聲估 計器和所述近端估計器的多個參數(shù)被訓(xùn)練，以最小化以下項：所述估計的 回聲特征與多個訓(xùn)練數(shù)據(jù)中的多個實況回聲特征之間的差異；以及所述估 計的近端特征與所述多個訓(xùn)練數(shù)據(jù)中的多個實況近端特征之間的差異。

所述最小化可以是基于如下?lián)p失函數(shù)執(zhí)行的：