[發(fā)明專利]一種基于深度學(xué)習(xí)的聲反饋的抑制方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202210408816.2
• 申請(qǐng)日: 2022-04-19
• 公開（公告）號(hào): CN116233697B
• 公開（公告）日: 2023-09-05
• 發(fā)明（設(shè)計(jì)）人: 鄭成詩(shī);王梅煌;柯雨璇;李曉東
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院聲學(xué)研究所
• 主分類號(hào): H04R3/02
• 分類號(hào): H04R3/02;G06N3/0464;G06N3/0442;G06N3/045;G06N3/08
• 代理公司: 北京方安思達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11472
• 代理人: 陳琳琳;武玥

1.一種基于深度學(xué)習(xí)的聲反饋的抑制方法，用于抑制擴(kuò)聲系統(tǒng)中的聲反饋，包括以下步驟：

步驟1)采集閉環(huán)擴(kuò)聲系統(tǒng)中的原始真實(shí)聲音信號(hào)，并基于傅里葉變換，獲得真實(shí)聲音張量矩陣；

步驟2)將真實(shí)聲音張量矩陣輸入至預(yù)先訓(xùn)練好的第一深度學(xué)習(xí)網(wǎng)絡(luò)模型中，通過訓(xùn)練好的第一深度學(xué)習(xí)網(wǎng)絡(luò)模型提取真實(shí)聲音張量矩陣中的特征向量，并基于所述特征向量進(jìn)行聲反饋抑制；其中，所述第一深度學(xué)習(xí)網(wǎng)絡(luò)模型通過開環(huán)數(shù)據(jù)集進(jìn)行訓(xùn)練；

步驟3)將所述聲反饋抑制后的真實(shí)張量矩陣進(jìn)行傅里葉逆變換，獲得聲反饋抑制后的聲音信號(hào)并將其輸入至閉環(huán)的擴(kuò)聲系統(tǒng)中，所述閉環(huán)的擴(kuò)聲系統(tǒng)為存在反饋通路的擴(kuò)聲系統(tǒng)；

所述開環(huán)數(shù)據(jù)集的構(gòu)造過程包括：

在開環(huán)的所述擴(kuò)聲系統(tǒng)中，獲取n個(gè)采樣時(shí)刻的測(cè)試語(yǔ)音和音頻信號(hào)，在每條所述測(cè)試語(yǔ)音和音頻信號(hào)上隨機(jī)疊加1至N個(gè)頻率在[f_L,f_H]Hz的單頻信號(hào)，以獲得n個(gè)模擬嘯叫混合信號(hào)z(n)，并將其構(gòu)造成所述開環(huán)數(shù)據(jù)集；其中，所述開環(huán)的擴(kuò)聲系統(tǒng)為沒有反饋通路的擴(kuò)聲系統(tǒng)；

所述模擬嘯叫混合信號(hào)z(n)為：

其中，f_L為所述擴(kuò)聲系統(tǒng)中信號(hào)的低頻下限，f_H為所述擴(kuò)聲系統(tǒng)中信號(hào)的頻率上限，f_s為采樣率，s(n)為所述語(yǔ)音和音頻信號(hào)，M為1至N之間的隨機(jī)整數(shù)，d_i(n)為疊加的第i個(gè)所述單頻信號(hào)；其中，

疊加的第i個(gè)所述單頻信號(hào)d_i(n)采用下式生成：

其中，α_i(n)為第i個(gè)所述單頻信號(hào)的幅度值，f_i為第i個(gè)所述單頻信號(hào)的頻率值，為第i個(gè)所述單頻信號(hào)的相位值；并且，具有不同頻率值f_i的所述單頻信號(hào)具有不同的幅度值α_i(n)；

所述第一深度學(xué)習(xí)網(wǎng)絡(luò)模型的訓(xùn)練過程包括：

將每條所述模擬嘯叫混合信號(hào)z(n)進(jìn)行傅里葉變換，以獲得對(duì)應(yīng)的模擬嘯叫混合張量；將所述測(cè)試語(yǔ)音和音頻信號(hào)進(jìn)行相同形式的傅里葉變換，以獲得映射目標(biāo)張量；

在開環(huán)擴(kuò)聲系統(tǒng)中，所述第一深度學(xué)習(xí)網(wǎng)絡(luò)模型將所述映射目標(biāo)張量作為學(xué)習(xí)目標(biāo)，利用模擬嘯叫混合張量和映射目標(biāo)張量進(jìn)行訓(xùn)練，以提取模擬嘯叫特征向量并獲得聲反饋抑制后的模擬嘯叫混合張量；

將所述聲反饋抑制后的模擬嘯叫混合張量作為下次訓(xùn)練的模擬嘯叫混合張量，并重新訓(xùn)練，直至所述聲反饋抑制后的模擬嘯叫混合張量與所述模擬嘯叫混合張量之間的誤差收斂至預(yù)設(shè)的范圍，獲得所述訓(xùn)練好的第一深度學(xué)習(xí)網(wǎng)絡(luò)模型以及所述訓(xùn)練好的第一深度學(xué)習(xí)網(wǎng)絡(luò)模型的參數(shù)集合；并將最后一次訓(xùn)練中提取的模擬嘯叫特征向量作為特征向量。

2.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的聲反饋的抑制方法，其特征在于，所述第i個(gè)單頻信號(hào)的幅度值α_i(n)隨著采樣時(shí)刻n變化或者為恒定值；所述單頻信號(hào)的個(gè)數(shù)N的取值為10。

3.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的聲反饋的抑制方法，其特征在于，步驟3)之前還包括：將所述訓(xùn)練好的第一深度學(xué)習(xí)網(wǎng)絡(luò)模型進(jìn)行聲反饋抑制后的真實(shí)聲音張量矩陣輸入至預(yù)先訓(xùn)練好的第二深度學(xué)習(xí)網(wǎng)絡(luò)模型，通過所述訓(xùn)練好的第二深度學(xué)習(xí)網(wǎng)絡(luò)模型提取其中的優(yōu)化特征向量，并基于優(yōu)化特征向量進(jìn)行聲反饋抑制，以優(yōu)化的所述聲反饋抑制后的真實(shí)張量矩陣。

4.根據(jù)權(quán)利要求3所述的基于深度學(xué)習(xí)的聲反饋的抑制方法，其特征在于，所述第二深度學(xué)習(xí)網(wǎng)絡(luò)模型的訓(xùn)練過程包括：

在開環(huán)擴(kuò)聲系統(tǒng)中，將所述第一深度學(xué)習(xí)網(wǎng)絡(luò)模型輸出的聲反饋抑制后的模擬嘯叫混合張量作為輸入張量，輸入至所述第二深度學(xué)習(xí)網(wǎng)絡(luò)模型中；

所述第二深度學(xué)習(xí)網(wǎng)絡(luò)模型，以所述映射目標(biāo)張量作為學(xué)習(xí)目標(biāo)，利用所述輸入張量進(jìn)行訓(xùn)練，以提取特征向量并獲得優(yōu)化的聲反饋抑制后的模擬嘯叫混合張量；

將所述優(yōu)化的聲反饋抑制后的模擬嘯叫混合張量作為下次訓(xùn)練的輸入張量，并重新訓(xùn)練，直至所述優(yōu)化的聲反饋抑制后的模擬嘯叫混合張量與所述輸入張量之間的誤差收斂至預(yù)設(shè)的范圍，獲得所述訓(xùn)練好的第二深度學(xué)習(xí)網(wǎng)絡(luò)模型以及所述訓(xùn)練好的第二深度學(xué)習(xí)網(wǎng)絡(luò)模型的參數(shù)集合；并將最后一次訓(xùn)練中提取的特征向量作為優(yōu)化特征向量。