[發明專利]語音分離方法和系統、電子設備及可讀存儲介質

有效

• 申請號: 202110587646.4
• 申請日: 2021-05-27
• 公開（公告）號: CN113393858B
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 陳孝良;李智勇
• 申請（專利權）人: 北京聲智科技有限公司
• 主分類號: G10L21/0272
• 分類號: G10L21/0272;G10L25/27
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 蔣娟

1.一種語音分離方法，其特征在于，包括：

對輸入的多通道語音進行特征提取，得到語音特征；

將所述語音特征和波束集合分別輸入到語音分離模型，得到分離后的語音，所述波束集合包括基于麥克風陣列確定的若干個第一波束系數；

其中，所述語音分離模型是基于混合語音樣本數據、所述波束集合以及預先確定的干凈語音標簽進行訓練后得到；

所述語音分離模型采用以下損失函數進行訓練：

其中，所述最小均方誤差函數，表示目標語音的Mask，數值介于[0，1]，，表示由混合語音樣本數據計算得到的樣本Mask，尺度不變的信噪比函數，表示分離后的語音，表示預先確定的干凈語音標簽。

2.根據權利要求1所述的語音分離方法，其特征在于，所述語音分離模型包括分離子模型和注意力選擇機制子模型；

所述將所述語音特征和波束集合分別輸入到語音分離模型，得到分離后的語音，包括：

將所述語音特征輸入到分離子模型，得到目標語音的Mask；

將波束集合和所述目標語音的Mask分別輸入到注意力選擇機制子模型，得到融合后的第二波束系數；

基于所述語音特征和所述第二波束系數，得到分離后的語音；

其中，所述分離子模型是基于混合語音樣本數據以及所述目標語音的Mask進行訓練后得到；所述注意力選擇機制子模型是基于所述分離后的語音、所述波束集合以及預先確定的干凈語音標簽進行訓練后得到。

3.根據權利要求2所述的語音分離方法，其特征在于，所述注意力選擇機制子模型包括第一映射層和第二映射層；

所述將波束集合和所述目標語音的Mask分別輸入到注意力選擇機制子模型，得到融合后的第二波束系數，包括：

將所述目標語音的Mask輸入到所述第一映射層，得到映射后的Mask；

將所述波束集合輸入到所述第二映射層，得到若干個映射后的第一波束系數，其中每一個映射后的第一波束系數與映射后的Mask在同一維度；

基于每一個映射后的第一波束系數和映射后的Mask，進行多類別分類，并基于所得到的各個映射后的第一波束系數的概率值及其所對應的所述若干個第一波束系數，得到融合后的第二波束系數。

4.根據權利要求3所述的語音分離方法，其特征在于，所述進行多類別分類包括：

按照每一個映射后的第一波束系數作為一個類別進行分類，各個映射后的第一波束系數類別值的概率和為1。

5.根據權利要求1所述的語音分離方法，其特征在于，所述將所述語音特征和波束集合分別輸入到語音分離模型，得到分離后的語音之后，還包括：

對所述分離后的語音進行濾波處理，得到目標語音。

6.一種語音分離系統，其特征在于，包括；

語音特征提取模塊，用于對輸入的多通道語音進行特征提取，得到語音特征；

語音分離模塊，用于將所述語音特征和波束集合分別輸入到語音分離模型，得到分離后的語音，所述波束集合包括基于麥克風陣列確定的若干個第一波束系數；

其中，所述語音分離模型是基于混合語音樣本數據、所述波束集合以及預先確定的干凈語音標簽進行訓練后得到；

所述語音分離模型采用以下損失函數進行訓練：

其中，所述最小均方誤差函數，表示目標語音的Mask，數值介于[0，1]，，表示由混合語音樣本數據計算得到的樣本Mask，尺度不變的信噪比函數，表示分離后的語音，表示預先確定的干凈語音標簽。