[發明專利]一種基于WaveNet的骨導語音增強波形生成方法

有效

• 申請號: 201910590941.8
• 申請日: 2019-07-02
• 公開（公告）號: CN110648684B
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 張雄偉;鄭昌艷;楊吉斌;曹鐵勇;李莉;孫蒙
• 申請（專利權）人: 中國人民解放軍陸軍工程大學
• 主分類號: G10L21/0232
• 分類號: G10L21/0232;G10L21/0332;G10L25/18;G10L25/27
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 薛云燕

本發明公開了一種基于WaveNet的骨導語音增強波形生成方法。該方法在基于BLSTM模型的骨導語音幅度譜增強基礎上，采用WaveNet模型生成高質量語音。首先構建BLSTM模型和WaveNet模型，WaveNet模型中引入了跨采樣率的上采樣模塊，并對兩個模型分別進行訓練；然后將待增強的低采樣率下骨導語音幅度譜送入訓練好的BLSTM模型中得到增強的幅度譜，再聯合骨導語音相位信息送入訓練好的WaveNet模型中，得到增強的高采樣率下語音波形。本發明有效利用了骨導語音相位信息并且擁有頻譜擴展功能，能夠從增強的骨導語音幅度譜以及骨導語音相位信息直接生成增強的高采樣率語音波形，顯著提升了骨導語音的質量。

技術領域

本發明涉及骨傳導技術領域，特別是一種基于WaveNet的骨導語音增強波形生成方 法。

背景技術

骨導麥克風利用人發聲時頭骨、喉頭等身體部位產生的振動獲取語音信號骨導語音， 由于其信號傳輸通道屏蔽了周圍環境噪聲的影響，相比于傳統的空氣傳導麥克風產生的 語音，即氣導語音具有很強的抗噪性能，在軍事與民用領域都有廣泛的應用前景。但是，由于人體信號傳導的低通性，骨導語音高頻成份衰減嚴重，頻率成份通常在2.5kHz以 下，并且由于振動產生的電聲信號不經過口腔、鼻腔、唇等聲音“調音”區域，與這些 區域相關的摩擦音、爆破音、清音等輔音音節丟失嚴重，因此骨導語音聽起來沉悶、不 清晰、不自然，且可懂度較低。

骨導語音增強是指對骨導語音進行處理，以提高語音質量，可建模為從骨導語音到 對應純凈氣導語音的轉換問題。早期算法通常基于語音信號的源-濾波器模型，將語音分解為譜包絡特征和激勵特征。相比于激勵特征，人耳對譜包絡特征更為敏感，因此研 究重點更關注骨導語音到氣導語音低維譜包絡的轉換，利用高斯混合模型或者淺層神經 網絡學習特征之間的轉換關系。近年來，隨著深度學習技術的快速發展，深度神經網絡 開始被用于更準確地學習兩種語音譜包絡特征之間的非線性轉換關系，并且由于深度神 經網絡對高維數據具有很好的表征能力，開始有學者用高維短時傅里葉(Short-Time FourierTransform，STFT)譜更好表征兩種語音之間的差距，例如文獻1(Liu H P,Tsao Y,Fuh C S,“Bone-conducted speech enhancement using deep denoising autoencoder,” SpeechCommunication,vol.104,pp.106-112,2018)利用深度網絡學習兩種語音高維梅爾 譜特征之間的轉換。在前期工作中，文獻2(Changyan Zheng,Xiongwei Zhang,Meng Sun, JibinYang,Yibo Xing,“A Novel Throat Microphone Speech Enhancement Framework basedon Deep BLSTM Recurrent Neural Networks,”in Proc.IEEE InternationalConference on Computer and Communications(ICCC),2018)提出了基于雙向長短時記憶(Bi-direction Long Short-Term Memory，BLSTM)遞歸神經網絡的骨導語音增強方法，利用語音幀的 上下文關系建模骨導語音到對應氣導語音高維STFT幅度譜的轉換關系，有效提高了骨 導語音增強質量。