[發(fā)明專利]一種時(shí)延估計(jì)系統(tǒng)及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202211380324.3
• 申請(qǐng)日: 2022-11-03
• 公開（公告）號(hào): CN115798497B
• 公開（公告）日: 2023-10-13
• 發(fā)明（設(shè)計(jì)）人: 劉楊;楊飛然;楊軍
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院聲學(xué)研究所
• 主分類號(hào): G10L21/0208
• 分類號(hào): G10L21/0208;G10L21/0224;G10L21/0232;G10L25/30
• 代理公司: 北京方安思達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11472
• 代理人: 陳琳琳;張紅生

本發(fā)明提供了一種時(shí)延估計(jì)系統(tǒng)及裝置，所述系統(tǒng)基于編碼器?時(shí)序建模結(jié)構(gòu)實(shí)現(xiàn)，用于經(jīng)過訓(xùn)練后計(jì)算時(shí)延估計(jì)值；所述系統(tǒng)包括：信號(hào)時(shí)頻特征提取模塊、編碼器模塊、時(shí)序建模模塊、時(shí)延分類器和時(shí)延計(jì)算模塊。本發(fā)明的優(yōu)勢(shì)在于：將時(shí)延估計(jì)設(shè)計(jì)問題為分類問題，通過設(shè)計(jì)訓(xùn)練集和標(biāo)簽，可以控制時(shí)延估計(jì)的精度、上限和估計(jì)誤差；時(shí)延時(shí)變的訓(xùn)練集，能夠降低時(shí)延估計(jì)的方差；進(jìn)一步減小時(shí)延估計(jì)的誤差和方差，并盡量避免時(shí)延過估計(jì)的現(xiàn)象；在長(zhǎng)混響、大時(shí)延和雙端對(duì)講情況下，本發(fā)明的時(shí)延估計(jì)收斂時(shí)間、跟蹤時(shí)間更短，過估計(jì)率更低。本發(fā)明與自適應(yīng)濾波級(jí)聯(lián)的系統(tǒng)具有更大的遠(yuǎn)端單講回聲抵消量和更好的雙端對(duì)講語(yǔ)音質(zhì)量。

技術(shù)領(lǐng)域

本發(fā)明屬于音頻信號(hào)處理領(lǐng)域，具體涉及一種時(shí)延估計(jì)系統(tǒng)及裝置。

背景技術(shù)

在語(yǔ)音通信、人機(jī)交互等應(yīng)用中，揚(yáng)聲器播放的信號(hào)又被傳聲器接收，造成通信質(zhì)量和語(yǔ)音識(shí)別率下降，這就是聲學(xué)回聲問題。聲學(xué)回聲抵消利用遠(yuǎn)端信號(hào)作為參考，從近端傳聲器接收信號(hào)中消除回聲的干擾。回聲抵消的解決方案包括自適應(yīng)濾波、深度學(xué)習(xí)和混合模型。

在線會(huì)議等系統(tǒng)的快速發(fā)展對(duì)回聲抵消提出了新的挑戰(zhàn)，時(shí)延估計(jì)是其中的一個(gè)關(guān)鍵問題。網(wǎng)絡(luò)傳輸、數(shù)模或模數(shù)轉(zhuǎn)換、語(yǔ)音編解碼和信號(hào)預(yù)處理等實(shí)際情況，會(huì)導(dǎo)致超長(zhǎng)時(shí)延和時(shí)變時(shí)延的問題。時(shí)延會(huì)導(dǎo)致回聲抵消算法性能下降，因而需要在回聲抵消前增加一個(gè)時(shí)延估器。時(shí)延估計(jì)器估計(jì)參考信號(hào)與回聲信號(hào)之間的時(shí)延，并利用估計(jì)的時(shí)延對(duì)齊參考信號(hào)。時(shí)延估計(jì)的代表性算法包括廣義互相關(guān)(Generalized Cross Correlationwith Phase Transform,GCC-PHAT)法、WebRTC中的幀能量對(duì)比法、參數(shù)模型法等。GCC-PHAT方法在大時(shí)延時(shí)復(fù)雜度較高，無法滿足實(shí)時(shí)估計(jì)要求。幀能量對(duì)比法需要提前測(cè)量時(shí)延值的更新概率，參數(shù)模型利用降采樣后的信號(hào)進(jìn)行初步的回聲路徑估計(jì)，根據(jù)濾波器的峰值位置求時(shí)延。這兩種方法在長(zhǎng)混響、非線性回聲和雙端對(duì)講場(chǎng)景下性能下降。而在實(shí)際使用場(chǎng)景中，由于設(shè)備的多樣性，長(zhǎng)時(shí)延、時(shí)變時(shí)延、長(zhǎng)混響、非線性回聲和低信號(hào)回聲比都是不可避免的問題。

隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，編碼器-時(shí)序建模-解碼器的結(jié)構(gòu)在深度學(xué)習(xí)語(yǔ)音增強(qiáng)、回聲抵消中表現(xiàn)優(yōu)異。在波達(dá)時(shí)間差估計(jì)領(lǐng)域已有將信號(hào)相關(guān)系數(shù)作為特征輸入到全連接網(wǎng)絡(luò)中來估計(jì)時(shí)延的方法，但此類方法在估計(jì)長(zhǎng)時(shí)延時(shí)計(jì)算量過大，并且全連接網(wǎng)絡(luò)也不具備記憶能力。現(xiàn)有的時(shí)延估計(jì)方法存在計(jì)算量大、復(fù)雜聲環(huán)境性能退化的問題。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有時(shí)延估計(jì)技術(shù)存在長(zhǎng)混響、大時(shí)延和雙端對(duì)講容易誤估計(jì)的缺陷。

為了實(shí)現(xiàn)上述目的，本發(fā)明提出了一種時(shí)延估計(jì)系統(tǒng)，所述系統(tǒng)基于編碼器-時(shí)序建模結(jié)構(gòu)實(shí)現(xiàn)，用于經(jīng)過訓(xùn)練后，計(jì)算時(shí)延估計(jì)值；所述系統(tǒng)包括：

信號(hào)時(shí)頻特征提取模塊，用于提取輸入的遠(yuǎn)端參考信號(hào)和傳聲器信號(hào)的時(shí)頻特征；

編碼器模塊，用于對(duì)信號(hào)時(shí)頻特征提取模塊輸出的時(shí)頻特征進(jìn)行模式識(shí)別，得到頻率分辨率更低、通道數(shù)更多的信號(hào)特征；

時(shí)序建模模塊，用于利用編碼器模塊輸出的信號(hào)特征提取遠(yuǎn)端參考信號(hào)和傳聲器信號(hào)之間的時(shí)延特征；

時(shí)延分類器，用于對(duì)時(shí)序建模模塊輸出的時(shí)延特征分類得到時(shí)延估計(jì)位；

時(shí)延計(jì)算模塊，用于根據(jù)時(shí)延分類器輸出的時(shí)延估計(jì)位計(jì)算得到估計(jì)的時(shí)延塊數(shù)，將估計(jì)的時(shí)延塊數(shù)與時(shí)延估計(jì)精度相乘，得到時(shí)延估計(jì)值。

作為上述系統(tǒng)的一種改進(jìn)，所述信號(hào)時(shí)頻特征提取模塊的工作流程具體為：對(duì)遠(yuǎn)端參考信號(hào)和傳聲器信號(hào)做短時(shí)傅里葉變換得到由時(shí)間幀和頻率塊兩個(gè)維度組成的時(shí)頻特征。

作為上述系統(tǒng)的一種改進(jìn)，所述編碼器模塊包括多個(gè)編碼器基本單元。

作為上述系統(tǒng)的一種改進(jìn)，所述編碼器基本單元包括復(fù)數(shù)二維卷積層、復(fù)數(shù)批歸一化層和復(fù)數(shù)參數(shù)化整流線性單元；