[發明專利]一種基于深度神經網絡的噪聲魯棒盲混響時間估計方法

有效

• 申請號: 202210004710.6
• 申請日: 2022-01-04
• 公開（公告）號: CN114255780B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 鄭成詩;鄭凱桐;桑晉秋;張玉龍;張芳杰;李曉東
• 申請（專利權）人: 中國科學院聲學研究所
• 主分類號: G10L21/0208
• 分類號: G10L21/0208;G10L21/0216;G10L21/0232;G10L25/30;G10L19/16;G06N3/08
• 代理公司: 北京方安思達知識產權代理有限公司 11472
• 代理人: 陳琳琳;李彪

1.一種基于深度神經網絡的噪聲魯棒盲混響時間估計方法，所述方法包括：

對采集的語音信號進行預處理；

將預處理后的語音信號輸入預先建立和訓練好的混響時間估計模型，得到混響時間值；

所述混響時間估計模型基于深度神經網絡和時頻掩膜實現；

所述對采集的語音信號進行預處理；具體包括：

使用設定毫秒的漢寧窗口，根據設定的幀移和傅里葉變換點數，對采集的語音信號進行短時傅里葉變換，得到多維的頻率特征；

所述混響時間估計模型為第一模型或第二模型；其中，

所述第一模型包括串聯的噪聲估計網絡和混響時間估計網絡；預處理后的語音信號同時輸入噪聲估計網絡和混響時間估計網絡，輸出為語音信號的混響時間值；

所述第二模型包括串聯的去噪網絡和混響時間估計網絡；預處理后的語音信號輸入去噪網絡，輸出為語音信號的混響時間值；

所述第一模型的噪聲估計網絡包括編碼器、MG-TCNs模塊和解碼器，其中，

所述編碼器，用于對預處理后的語音信號提取隱變量特征；

所述MG-TCNs模塊，用于對編碼器提取的隱變量特征的時間序列進行時序建模，輸出隱變量；

所述解碼器包括并聯的語音解碼器和噪聲解碼器，分別用于將MG-TCNs模塊輸出的隱變量還原為與語音信號幅度譜維度一致的無噪聲語音估計和噪聲估計；

所述第一模型的混響時間估計網絡，用于結合無噪聲語音估計和噪聲估計對預處理后的語音信號估算出混響時間值，所述混響時間估計網絡包括編碼器和MG-TCNs模塊，均與噪聲估計網絡對應模塊的結構相同；

所述第二模型的去噪網絡包括編碼器、MG-TCNs模塊和語音解碼器，其中，

所述編碼器，用于對預處理后的語音信號提取隱變量特征；

所述MG-TCNs，用于對編碼器提取的隱變量特征的時間序列進行時序建模，輸出隱變量；

所述語音解碼器用于將隱變量還原為與語音信號幅度譜維度一致的無噪聲語音估計；

所述第二模型的混響時間估計網絡，用于根據無噪聲語音估計估算出混響時間值，所述混響時間估計網絡包括編碼器和MG-TCNs模塊，均與去噪網絡對應模塊的結構相同。

2.根據權利要求1所述的基于深度神經網絡的噪聲魯棒盲混響時間估計方法，其特征在于，所述方法還包括混響時間估計模型的訓練步驟；具體包括：

準備純凈語音數據集、噪聲數據集和房間沖激響應數據集，構成樣本集；

從樣本集中獲取純凈語音和房間沖激響應，進行卷積并加上噪聲得到訓練語音構成訓練集；

使用設定毫秒的漢寧窗口，根據設定的幀移和傅里葉變換點數，對訓練集中的訓練語音依次進行短時傅里葉變換，分別得到對應的多維的頻率特征；

使用Adam優化器，設置兩個訓練階段，分別設置每個訓練階段的學習率和訓練批次及周期，將預處理后的訓練集數據分別輸入第一模型或第二模型，直至滿足訓練要求，得到訓練好的第一模型或第二模型，從而完成混響時間估計模型的訓練。

3.根據權利要求2所述的基于深度神經網絡的噪聲魯棒盲混響時間估計方法，其特征在于，所述第一模型的第一訓練階段的損失函數L_NE滿足下式：

其中，α表示加權因子，取為0.5，表示估計的無噪語音幅度譜，|X|表示無噪語音幅度譜，表示估計的噪聲幅度譜，|N|表示噪聲幅度譜，表示二范數；

所述第一模型的第二訓練階段的損失函數L滿足下式：

L＝L_RE+λL_NE

其中，L_RE為估計的混響時間與真實混響時間的均方誤差，滿足下式：

其中，λ表示微調加權因子，取為0.1，l為幀索引，T表示總幀數，為第l幀的混響時間估計值，T_60,l為第l幀的混響時間真實值。