[發明專利]一種針對多說話人的單通道語音分離方法及系統

在審

• 申請號: 202110173700.0
• 申請日: 2021-02-06
• 公開（公告）號: CN113053407A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 史慧宇;歐陽鵬
• 申請（專利權）人: 南京蘊智科技有限公司
• 主分類號: G10L21/0272
• 分類號: G10L21/0272;G10L21/0308;G10L25/30
• 代理公司: 北京索睿邦知識產權代理有限公司 11679
• 代理人: 李根

1.一種針對多說話人的單通道語音分離方法，其特征在于，其包括：

步驟S101，構建語音分離深度神經網絡；所述語音分離深度神經網絡包括：輸入層、輸出層及多個輸出通道；所述輸出通道數量對應混合音頻中的說話人數；所述語音分離網絡包括：混合音頻信號編碼器、音素信息編碼器、注意力機制模塊和綜合解碼器；

步驟S102，將混合音頻樣本信號輸入到混合音頻信號編碼器的輸入端，經兩層延時卷積網絡編碼所述混合音頻樣本信號，獲取第一編碼；

將每個目標說話人語音音素串聯輸入到音素編碼器的輸入端，經兩層延時卷積網絡編碼所述每個目標說話人語音音素，提取高維特征獲取第二編碼；

所述注意力機制模塊通過內部的打分機制獲取所述第一編碼和所述第二編碼的評分，通過所述第一編碼和所述第二編碼的評分獲取注意力權重值；通過所述注意力權重值獲取加權后的所述第一編碼；通過所述加權后的所述第一編碼和所述第二編碼獲取第三編碼；

所述綜合解碼器，通過解卷積層解碼所述第一編碼及所述第三編碼獲取所述多個輸出通道的語音分離信號；

步驟S103，每個目標說話人干凈音頻作為所述語音分離深度神經網絡的訓練目標；訓練所述語音分離深度神經網絡；使用損失函數通過梯度下降法來反向傳播更新權重和偏置，對所述語音分離深度神經網絡有監督的訓練，以獲得訓練后的語音分離深度神經網絡；

步驟S104，將待測試語音樣本輸入到所述訓練后的語音分離深度神經網絡中，經所述語音分離深度神經網絡處理，從所述多個輸出通道獲取待測試語音樣本中多個語音分離信號；將所述待測試語音樣本中多個語音分離信號作為每個目標說話人的語音分離結果信號。

2.根據權利要求1所述的針對多說話人的單通道語音分離方法，其特征在于，所述混合音頻信號編碼器和所述音素信息編碼器分別包括兩個隱藏層；所述解碼器包括2個隱藏層；所述注意力機制模塊包括一個隱藏層。

3.根據權利要求1所述的針對多說話人的單通道語音分離方法，其特征在于，所述步驟S102中還包括：

對語音樣本數據庫中的語音樣本信號在8kHz下重采樣，并對多個目標說話人與噪聲及混響數據在信噪比-2.5dB到2.5dB之間做隨機的音頻混合獲取多個混合音頻樣本信號；每個混合音頻樣本信號的長度為4s；

獲取每個混合音頻樣本信號對應的目標說話人干凈音頻和語音音素。

4.根據權利要求1所述的針對多說話人的單通道語音分離方法，其特征在于，所述步驟S103中還包括，隨機初始化所述語音分離深度神經網絡的參數。

5.根據權利要求1或4所述的針對多說話人的單通道語音分離方法，其特征在于，所述使用損失函數通過梯度下降法來反向傳播更新權重和偏置，對所述語音分離深度神經網絡有監督的訓練的步驟還包括：前向傳播階段；

所述前向傳播階段包括：對語音分離深度神經網絡中神經元節點之間的權重和偏置進行初始化；前向傳播所述語音分離深度神經網絡；在所述語音分離深度神經網絡的前向傳播過程中，通過激活函數來增加各層之間的非線性關系，以能夠生成輸入與輸出結果間的非線性映射。

6.根據權利要求1或4所述的針對多說話人的單通道語音分離方法，其特征在于，所述步驟S103中，所述使用損失函數通過梯度下降法來反向傳播更新權重和偏置，對所述語音分離深度神經網絡有監督的訓練的步驟包括：

步驟S1031，計算所述語音分離深度神經網絡的輸出層損失函數的梯度；所述損失函數為公式1：

其中，s_target是語音提取的目標；e_noise是估計的噪音，由估計的語音和混合語音的差值求得；

步驟S1032，獲取所述語音分離深度神經網絡中網絡層數l＝L-1,L-2,…,2時每一層所對應的梯度；

步驟S1033，根據所述輸出層損失函數的梯度及所述每一層所對應的梯度更新整個網絡的權重和偏置。