[發明專利]語音分離方法、語音識別方法及相關設備

有效

• 申請號: 201910745682.1
• 申請日: 2019-04-12
• 公開（公告）號: CN110459237B
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 陳聯武;于蒙;蘇丹;俞棟
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G10L21/0272
• 分類號: G10L21/0272;G10L21/0308;G10L25/30;G10L21/0216;G10L21/0208
• 代理公司: 深圳市隆天聯鼎知識產權代理有限公司 44232
• 代理人: 劉抗美

1.一種語音分離方法，其特征在于，包括：

獲取包括至少兩個目標對象的語音信號的混合語音信號；

獲取所述混合語音信號對應的單通道頻譜特征和多通道方位特征；

通過多通道分離網絡對所述單通道頻譜特征和多通道方位特征進行處理，獲得所述混合語音信號中各目標對象的第一語音頻譜掩碼矩陣；

通過單通道分離網絡對所述單通道頻譜特征進行處理，獲得所述混合語音信號中各目標對象的第二語音頻譜掩碼矩陣；

通過重疊判斷模型對所述單通道頻譜特征和多通道方位特征進行處理，獲得所述混合語音信號中的目標對象之間是否存在重疊的判斷結果，所述重疊判斷模型用于判斷目標對象之間是否存在空間上的重疊；

根據所述判斷結果確定所述混合語音信號中各目標對象的目標語音頻譜掩碼矩陣；

其中，根據所述判斷結果確定所述混合語音信號中各目標對象的目標語音頻譜掩碼矩陣，包括：

若所述判斷結果為目標對象之間不存在重疊，則選擇所述第一語音頻譜掩碼矩陣作為所述目標語音頻譜掩碼矩陣；

若所述判斷結果為目標對象之間存在重疊，則選擇所述第二語音頻譜掩碼矩陣作為所述目標語音頻譜掩碼矩陣。

2.根據權利要求1所述的語音分離方法，其特征在于，獲得所述混合語音信號中的目標對象之間是否存在重疊的判斷結果，包括：

確定各目標對象的空間位置；

將采集所述混合語音信號的麥克風陣列作為參照點，根據各目標對象的空間位置獲得任意兩個目標對象之間的夾角；

獲取任意兩個目標對象之間的夾角的最小值；

若所述夾角的最小值小于門限值，則所述判斷結果為目標對象之間存在重疊；

若所述夾角的最小值不小于所述門限值，則所述判斷結果為目標對象之間不存在重疊。

3.根據權利要求1所述的語音分離方法，其特征在于，獲取所述混合語音信號對應的單通道頻譜特征和多通道方位特征，包括：

獲取所述混合語音信號對應的全語音頻段的單通道頻譜特征和多通道方位特征。

4.根據權利要求3所述的語音分離方法，其特征在于，所述全語音頻段包括K個子頻段，K為大于等于2的正整數；其中，獲取所述混合語音信號對應的單通道頻譜特征和多通道方位特征，還包括：

從所述全語音頻段的單通道頻譜特征和多通道方位特征中，提取K個子頻段的單通道頻譜特征和多通道方位特征。

5.根據權利要求4所述的語音分離方法，其特征在于，所述重疊判斷模型包括K個第一神經網絡和第四預測網絡；其中，通過重疊判斷模型對所述單通道頻譜特征和多通道方位特征進行處理，獲得所述混合語音信號中的目標對象之間是否存在重疊的判斷結果，包括：

通過所述K個第一神經網絡對所述K個子頻段的單通道頻譜特征和多通道方位特征進行處理，獲得K個第一特征向量；

根據所述K個第一特征向量生成合并特征向量；

將所述合并特征向量輸入所述第四預測網絡，輸出所述判斷結果。

6.根據權利要求5所述的語音分離方法，其特征在于，所述多通道分離網絡包括第五預測網絡；其中，通過多通道分離網絡對所述單通道頻譜特征和多通道方位特征進行處理，獲得所述混合語音信號中各目標對象的第一語音頻譜掩碼矩陣，包括：

通過所述第五預測網絡對所述合并特征向量進行處理，獲得所述混合語音信號中各目標對象的第一語音頻譜掩碼矩陣。

7.根據權利要求3所述的語音分離方法，其特征在于，所述多通道分離網絡包括第四神經網絡；其中，通過多通道分離網絡對所述單通道頻譜特征和多通道方位特征進行處理，獲得所述混合語音信號中各目標對象的第一語音頻譜掩碼矩陣，包括：

通過所述第四神經網絡對所述全語音頻段的單通道頻譜特征和多通道方位特征進行處理，獲得所述混合語音信號中各目標對象的第一語音頻譜掩碼矩陣。