[發明專利]多通道音頻數據增強處理方法、裝置、設備及介質

在審

• 申請號: 202211714505.5
• 申請日: 2022-12-27
• 公開（公告）號: CN116229997A
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 余君濤
• 申請（專利權）人: 中國電信股份有限公司
• 主分類號: G10L21/02
• 分類號: G10L21/02;G10L21/0224;G10L21/0232
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 李建忠

1.一種多通道音頻數據增強處理方法，其特征在于，包括：

獲取待增強的音頻數據，其中，所述音頻數據中包括多個通道采集到的音頻數據；

對每個通道的音頻數據進行短時傅里葉變換，得到每個通道對應的時頻譜數據；

根據各個通道的時頻譜數據，生成所述音頻數據的特征矩陣，其中，所述特征矩陣中每個元素對應一個時頻點；

根據音源個數對所述特征矩陣中的元素進行聚類，得到多個音源集合，其中，每個音源集合中包含：一個或多個元素；

按照時頻點信號能量從小到大的順序，對每個音源集合中的元素進行排序，去除每個音源集合中排序在前預設比例的元素，得到除去干擾后的特征矩陣；

對去除干擾后的特征矩陣進行短時逆傅里葉變換，得到增強后的音頻數據。

2.根據權利要求1所述的多通道音頻數據增強處理方法，其特征在于，所述根據音源個數對所述特征矩陣中的元素進行聚類，包括：

采用K-means算法，根據音源個數對所述特征矩陣中的元素進行聚類。

3.根據權利要求1所述的多通道音頻數據增強處理方法，其特征在于，在根據音源個數對所述特征矩陣中的元素進行聚類，得到多個音源集合之前，所述方法還包括：

將所述特征矩陣中每個元素減去預設背景噪聲值，得到去除背景噪聲后的特征矩陣；

其中，根據音源個數對所述特征矩陣中的元素進行聚類，得到多個音源集合，包括：根據音源個數對去除背景噪聲后的特征矩陣中的元素進行聚類，得到多個音源集合。

4.根據權利要求1所述的多通道音頻數據增強處理方法，其特征在于，所述每個通道的時頻譜數據包括：幅度譜數據和相位譜數據；其中，所述根據各個通道的時頻譜數據，生成所述音頻數據的特征矩陣，包括：

根據所述幅度譜數據，計算不同通道之間的幅度譜互相關矩陣；

根據所述相位譜數據，計算不同通道之間的相位譜互相關矩陣；

根據所述幅度譜互相關矩陣和所述相位譜互相關矩陣，生成特征矩陣。

5.根據權利要求4所述的多通道音頻數據增強處理方法，其特征在于，通過如下公式計算不同通道之間的幅度譜互相關矩陣：

r_i,j＝X_a,i-X_a,j

通過如下公式計算不同通道之間的相位譜互相關矩陣：

s_i,j＝X_p,i-X_p,j

通過如下公式計算特征矩陣：

其中，i和j表示通道序號，取值為自然數；a表示幅度；p表示相位；X_a,i表示第i通道的幅度譜矩陣；X_a,j為第j通道的幅度譜矩陣；r_i,j表示第i通道和第j通道的幅度譜互相關矩陣；X_p,i為第i通道的相位譜矩陣；X_p,j為第j通道的相位譜矩陣；s_i,j為第i通道和第j通道的相位譜互相關矩陣；f表示特征矩陣；表示哈達瑪積。

6.根據權利要求1所述的多通道音頻數據增強處理方法，其特征在于，所述對去除干擾后的特征矩陣進行短時逆傅里葉變換，得到增強后的音頻數據，包括：

根據去除干擾后的特征矩陣，生成去除干擾后的時頻譜數據；

對所述去除干擾后的時頻譜數據進行短時逆傅里葉變換，得到增強后的音頻數據。

7.根據權利要求1～6中任一項所述的多通道音頻數據增強處理方法，其特征在于，在對去除干擾后的特征矩陣進行短時逆傅里葉變換，得到增強后的音頻數據之前，所述方法還包括：

使用softmax函數對去除干擾后的特征矩陣進行變換，得到歸一化后的特征矩陣；

其中，所述對去除干擾后的特征矩陣進行短時逆傅里葉變換，得到增強后的音頻數據，包括：對歸一化后的特征矩陣進行短時逆傅里葉變換，得到增強后的音頻數據。