[發明專利]一種端到端的骨氣導語音聯合增強方法

有效

• 申請號: 202011612056.4
• 申請日: 2020-12-30
• 公開（公告）號: CN112786064B
• 公開（公告）日: 2023-09-08
• 發明（設計）人: 王謀;張曉雷;王逸平
• 申請（專利權）人: 西北工業大學
• 主分類號: G10L21/02
• 分類號: G10L21/02;G10L21/0272;G10L25/30
• 代理公司: 西安凱多思知識產權代理事務所(普通合伙) 61290
• 代理人: 劉新瓊

本發明公開了一種端到端的骨氣導語音聯合增強方法，首先同步錄制氣導語音和骨導語音，添加環境噪聲后構造數據集；接下來構建端到端的神經網絡模型，包括編碼器、掩膜估計器和解碼器；通過神經網絡模型將帶噪聲的氣導語音和骨導語音轉化為一個單通道的語音信號；使用訓練集和驗證集的數據用Adam優化器對端到端的神經網絡模型進行訓練，直到SI?SNR的值不再增大時，停止訓練，得到最終端到端的神經網絡模型。本方法相比傳統的只利用氣導的語音信號或者單純骨導語音進行增強，聯合增強的語音質量和可懂度都有大幅的提升，同時語音識別的錯誤率也顯著下降。

技術領域

本發明屬于電子信息技術領域，具體涉及一種語音聯合增強方法。

背景技術

語音增強旨在改善帶噪語音的質量和可懂度，被廣泛應用于各類語音系統的前端。近年來，由于深度學習的興起，基于深度學習的語音增強日益受到關注，包括譜映射方法，時頻掩膜方法和近一兩年的端到端的時域增強方法。然而目前這些基于深度學習的語音增強方法均只使用了氣導語音。

骨導麥克風通過拾取頭骨等人體部位的振動信號來獲得音頻信號。與傳統的氣導語音相比，骨傳導語音不會拾取環境中的噪聲，因而可以從聲源處屏蔽噪聲，實現低信噪比下的語音通信。然而，骨導語音自身也存在許多缺點。首先，由于人體組織的低通性，骨傳導語音的高頻部分衰減嚴重，甚至缺失。通常大于800Hz的頻率成分就已經十分微弱，大于2kHz的部分基本完全丟失，使得骨導語音聽起來十分沉悶，可懂度降低。其次，骨導語音會引入一定的非聲學干擾，說話時麥克風與皮膚的摩擦，人體運動等，進一步影響了骨導語音。最后，由于骨傳導的特性，語音中的清音，摩擦音等輔音嚴重丟失。

骨傳導語音的用法可以分為兩類。一類就是用骨傳導麥克風直接替換到原來系統中的氣導麥克風，然后對骨傳導的語音進行帶寬擴展，這也被稱為骨導語音的盲增強。這類方法主要設計一個模型，實現從骨導語音到氣導語音的映射，包括線性表示，重構濾波器，高斯混合模型和深度神經網絡。然而，這類工作大多側重于擴展骨傳導語音的帶寬，而忽略了骨導自身的各類噪聲。另一類方法則將骨導語音作為一個輔助的信號用來提升語音增強的性能。2004年，微軟研究院首先提出同時使用骨傳導和氣導語音進行聯合語音增強。在隨后的幾年里，有不少類似的工作，但是這些方法都是基于傳統的信號處理方法。目前為止，還沒有基于端到端深度學習的骨氣導語音增強的工作。

發明內容

為了克服現有技術的不足，本發明提供了一種端到端的骨氣導語音聯合增強方法，首先同步錄制氣導語音和骨導語音，添加環境噪聲后構造數據集；接下來構建端到端的神經網絡模型，包括編碼器、掩膜估計器和解碼器；通過神經網絡模型將帶噪聲的氣導語音和骨導語音轉化為一個單通道的語音信號；使用訓練集和驗證集的數據用Adam優化器對端到端的神經網絡模型進行訓練，直到SI-SNR的值不再增大時，停止訓練，得到最終端到端的神經網絡模型。本方法相比傳統的只利用氣導的語音信號或者單純骨導語音進行增強，聯合增強的語音質量和可懂度都有大幅的提升，同時語音識別的錯誤率也顯著下降。

本發明解決其技術問題所采用的技術方案包括以下步驟：

步驟1：在無噪聲環境下同步錄制氣導語音x_a和骨導語音x_b；給氣導語音x_a添加環境噪聲，得到其中為帶噪聲的氣導語音，n_a為環境噪聲；構建數據集再將數據集劃分為訓練集、驗證集和測試集；

步驟2：將訓練集的語音數據按固定長度切割為多個小段語音；

步驟3：構建端到端的神經網絡模型，所述神經網絡模型包括編碼器E、掩膜估計器M和解碼器；

步驟3-1：所述編碼器E由一維卷積構成，編碼器E的輸入為經過步驟2切割的數據通過編碼器E將帶噪聲的氣導語音和骨導語音x_b轉化到同一個特征空間中，輸出得到特征圖編碼器E的輸入通道為2，輸出通道數與編碼器E的一維卷積的卷積核的數量相同；