[發明專利]一種相位相關的共享深度卷積神經網絡語音增強方法

在審

• 申請號: 201911310216.7
• 申請日: 2019-12-18
• 公開（公告）號: CN111081268A
• 公開（公告）日: 2020-04-28
• 發明（設計）人: 王曰海;李斌;李東洋;胡冰
• 申請（專利權）人: 浙江大學
• 主分類號: G10L21/0224
• 分類號: G10L21/0224;G10L21/0232;G10L21/0264;G10L25/30
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 胡紅娟

1.一種相位相關的共享深度卷積神經網絡語音增強方法，其特征在于，包括：

步驟1，利用短時傅里葉變換對帶噪語音數據和干凈語音數據進行時頻域分析，分別得到帶噪語音數據和干凈語音數據的包含實部譜與虛部譜的雙通道時頻譜特征，以帶噪語音數據的雙通道時頻譜特征作為輸入，以干凈語音數據的雙通道時頻譜特征作為監督標簽，構建訓練樣本；

步驟2，基于雙通道時頻譜特征的映射，搭建用于增強語音信號的相位相關的共享深度卷積神經網絡；利用訓練樣本訓練所述共享深度卷積神經網絡，得到共享深度卷積神經網絡模型；

步驟3，針對待增強的帶噪語音數據，按照步驟(1)獲得該帶噪語音數據的雙通道時頻譜特征并輸入至共享深度卷積神經網絡模型中，經計算輸出預測的雙通道時頻譜特征，利用短時傅里葉逆變換、重疊相加法對增強的雙通道時頻譜特征進行處理得到增強語音信號。

2.根據權利要求1所述的相位相關的共享深度卷積神經網絡語音增強方法，其特征在于，步驟1中，利用短時傅里葉變換對帶噪語音數據和干凈語音數據進行時頻域分析，包括：

步驟1.1，將干凈語音數據和噪聲數據按照不同的信噪比混合處理，得到帶噪語音數據；

步驟1.2，分別對帶噪語音數據和干凈語音數據進行分幀、加窗處理，得到帶噪語音數據和干凈語音數據分幀、加窗后的時域采樣點數據；

步驟1.3，對帶噪語音數據和干凈語音數據分幀、加窗后的時域采樣點數據進行短時傅里葉變換，每幀信號對應得到STFT復數域譜，所有幀的STFT復數域譜組成雙通道時頻譜道特征。

3.根據權利要求2所述的相位相關的共享深度卷積神經網絡語音增強方法，其特征在于，所述的STFT復數域譜包括實部譜和虛部譜；所述的STFT復數域譜為式(1)所示公式：

|A|e^jφ＝|A|cos(φ)+j|A|sin(φ) (1)；

其中，實部譜為|A|cos(φ)；虛部譜為|A|sin(φ)；|A|為短時傅里葉變換之后的幅度譜；φ為相位譜；j為虛數單位。

4.根據權利要求1所述的相位相關的共享深度卷積神經網絡語音增強方法，其特征在于，步驟2中，所述的共享深度卷積神經網絡包括降噪模塊和降損傷模塊；所述的降噪模塊和降損傷模塊網絡結構相同。

5.根據權利要求1所述的相位相關的共享深度卷積神經網絡語音增強方法，其特征在于，步驟2中，所述的降噪模塊包括依次連接的頻率特征提取層、編碼器、解碼器和輸出層。

6.根據權利要求4所述的相位相關的共享深度卷積神經網絡語音增強方法，其特征在于，所述的降損傷模塊利用損失函數對降噪模塊輸出的增強后的雙通道時頻譜特征進行訓練；所述的損失函數為公式(2)所示：

loss＝|Y-f_θ(X)|+|Y-f_θ(f_θ(X))| (2)；

其中，X為帶噪語音成對時頻譜特征；Y為干凈語音成對時頻譜特征；f_θ(X)代表降噪子塊和將損傷子塊的輸出成對時頻譜特征；θ為網絡參數。

7.根據權利要求1所述的相位相關的共享深度卷積神經網絡語音增強方法，其特征在于，步驟3中，所述的復數域譜為公式(3)所示：

C＝R+jI (3)；

其中，R為增強后的實部時頻譜；I為增強后的虛部時頻譜。

8.根據權利要求7所述的相位相關的共享深度卷積神經網絡語音增強方法，其特征在于，所述的復數域譜根據歐拉公式表示成幅度譜和相位譜的形式。

所述的幅度譜為公式(4)所示；

所述的相位譜φ為公式(5)所示：

其中，I，R的定義與權利要求(8)中I，R的定義一致。