[發明專利]語音增強方法、語音識別方法、說話人識別方法和系統

有效

• 申請號: 202310238080.3
• 申請日: 2023-03-14
• 公開（公告）號: CN116092501B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 柯登峰;聶帥;劉文舉;梁山;羅琪;胡睿欣;姚文翰;舒文濤;王運峰
• 申請（專利權）人: 深圳市瑋歐科技有限公司
• 主分類號: G10L17/02
• 分類號: G10L17/02;G10L17/04;G10L17/14;G10L17/18;G10L21/0232;G10L21/0264
• 代理公司: 北京天盾知識產權代理有限公司 11421
• 代理人: 姜有保

1.一種語音增強方法，其特征在于，包括以下步驟：

S100：基于純凈語音、純凈噪聲和散射噪聲生成雙麥遠場帶噪語音；以及基于純凈語音生成多個目標語音，并記錄多個目標語音方位；

S200：將空間方位均勻地劃分為若干個目標區域；基于若干個目標區域對所述多個目標語音方位進行標簽化，獲得標簽化目標語音方位；

S300：從所述標簽化目標語音方位提取所述雙麥遠場帶噪語音的特征，以獲得每個目標區域的特征；

S400：構建掩蔽神經語音增強模型；基于每個目標區域的特征、目標語音以及標簽化目標語音方位訓練所述掩蔽神經語音增強模型，從而獲得訓練好的掩蔽神經語音增強模型；所述掩蔽神經語音增強模型包括編碼器、空間注意力模塊、解碼器和神經波束；

S500：基于所述訓練好的掩蔽神經語音增強模型增強語音信號。

2.根據權利要求1所述的語音增強方法，其特征在于，所述步驟S200中基于若干個目標區域對所述多個目標語音方位進行標簽化包括：

將若干個目標區域進行離散化，標記為方位標簽；基于方位標簽對目標語音方位進行標簽化，獲得標簽化目標語音方位。

3.根據權利要求1所述的語音增強方法，其特征在于，所述步驟S400中基于每個目標區域的特征、目標語音以及標簽化目標語音方位訓練所述掩蔽神經語音增強模型包括以下子步驟：

S410：將每個目標區域的特征輸入掩蔽神經語音增強模型，以獲得估計的目標語音方向和增強語音；

S420：基于所述標簽化目標語音方位和所述估計的目標語音方向，以及所述目標語音和所述增強語音訓練所述掩蔽神經語音增強模型，以獲得訓練好的掩蔽神經語音增強模型。

4.根據權利要求3所述的語音增強方法，其特征在于，所述步驟S410包括：

所述編碼器對每個目標區域的特征進行編碼，從而獲得每個目標區域的特征編碼表示；

所述空間注意力模塊基于每個目標區域的特征編碼表示和上一時刻解碼器的解碼狀態，計算當前時刻的空間注意力權重，并基于所述當前時刻的空間注意力權重對所述每個目標區域的特征編碼表示進行加權求和，得到空間聚合的表示向量；選擇注意力權重最大的方向作為估計的目標語音方向；

所述解碼器基于所述空間聚合的表示向量預測目標語音的時頻掩蔽，以得到估計的時頻掩蔽；

選擇所述估計的目標語音方向所對應的神經波束對雙麥遠場帶噪語音進行空間濾波，以獲得空間濾波增強的信號；將所述估計的時頻掩蔽應用于所述空間濾波增強的信號，從而獲得增強語音。

5.根據權利要求3所述的語音增強方法，其特征在于，所述步驟S420包括：

基于所述目標語音和所述增強語音進行計算語音增強損失；以及基于所述標簽化目標語音方位和所述估計的目標語音方向計算交叉熵方位分類損失；以所述語音增強損失和所述交叉熵方位分類損失為優化目標對所述編碼器、空間注意力模塊、解碼器和神經波束進行聯合訓練。

6.一種語音增強系統，其特征在于，包括數據生成模塊、標簽化模塊、特征提取模塊、模型構建及訓練模塊和語音增強模塊；

所述數據生成模塊用于基于純凈語音、純凈噪聲和散射噪聲生成雙麥遠場帶噪語音；以及基于純凈語音生成多個目標語音，并記錄多個目標語音方位；

所述標簽化模塊用于將空間方位均勻地劃分為若干個目標區域；基于若干個目標區域對所述多個目標語音方位進行標簽化，獲得標簽化目標語音方位；

所述特征提取模塊用于從所述標簽化目標語音方位提取所述雙麥遠場帶噪語音的特征，以獲得每個目標區域的特征；

所述模型構建及訓練模塊用于構建掩蔽神經語音增強模型；基于每個目標區域的特征、目標語音以及標簽化目標語音方位訓練所述掩蔽神經語音增強模型，從而獲得訓練好的掩蔽神經語音增強模型；

所述語音增強模塊用于基于所述訓練好的掩蔽神經語音增強模型增強語音信號。