[發明專利]多通道音頻數據增強處理方法、裝置、設備及介質

在審

• 申請號: 202211714505.5
• 申請日: 2022-12-27
• 公開（公告）號: CN116229997A
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 余君濤
• 申請（專利權）人: 中國電信股份有限公司
• 主分類號: G10L21/02
• 分類號: G10L21/02;G10L21/0224;G10L21/0232
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 李建忠

本公開提供了一種多通道音頻數據增強處理方法、裝置、設備及介質，涉及音頻處理技術領域。該方法包括：獲取包含多個通道采集到的待增強音頻數據；對每個通道的音頻數據進行短時傅里葉變換，得到每個通道對應的時頻譜數據；根據各個通道的時頻譜數據，生成音頻數據的特征矩陣；根據音源個數對特征矩陣中的元素進行聚類，得到多個包含一個或多個元素的音源集合；按照時頻點信號能量從小到大的順序，對每個音源集合中的元素進行排序，去除每個音源集合中排序在前預設比例的元素，得到除去干擾后的特征矩陣；對去除干擾后的特征矩陣進行短時逆傅里葉變換，得到增強后的音頻數據。本公開不僅能夠提升音頻數據的增強效果，而且具有較快的處理速度。

技術領域

本公開涉及音頻處理技術領域，尤其涉及一種多通道音頻數據增強處理方法、裝置、設備及介質。

背景技術

由于現實生活中獲取到的音頻數據不可避免的會受到環境噪聲影響，其中往往包含各種干擾成分，導致音頻數據中有效成分被覆蓋，使人們難以獲得音頻數據中包含的語義信息，對此人們通常采用音頻處理技術來盡可能更準確地獲取音頻數據有效的部分。

音頻處理中又根據通道數量的不同，細分為多通道音頻處理和單通道音頻處理，其中，多通道音頻處理指對多個語音采集設備獲取到的音頻數據進行音頻處理，通常采用波束成形技術，即定向增強語音的技術，其作為空間濾波器，從由音頻采集設備接收的混合信號中提取目標信號。

但是，相關技術是通過識別能量最大的部分作為目標音頻處理的方向，對干擾和噪聲抑制能力不足，導致該技術在干擾成分較強的、嘈雜的環境中對于音頻處理的效果較差。

需要說明的是，在上述背景技術部分公開的信息僅用于加強對本公開的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現有技術的信息。

發明內容

本公開提供一種多通道音頻數據增強處理方法、裝置、設備及介質，至少在一定程度上克服了相關技術中提供的多通道音頻數據增強方案，在嘈雜環境中效果較差的技術問題。

本公開的其他特性和優點將通過下面的詳細描述變得顯然，或部分地通過本公開的實踐而習得。

根據本公開的一個方面，提供了一種多通道音頻數據增強處理方法，包括：獲取待增強的音頻數據，其中，所述音頻數據中包括多個通道采集到的音頻數據；對每個通道的音頻數據進行短時傅里葉變換，得到每個通道對應的時頻譜數據；根據各個通道的時頻譜數據，生成所述音頻數據的特征矩陣，其中，所述特征矩陣中每個元素對應一個時頻點；根據音源個數對所述特征矩陣中的元素進行聚類，得到多個音源集合，其中，每個音源集合中包含：一個或多個元素；按照時頻點信號能量從小到大的順序，對每個音源集合中的元素進行排序，去除每個音源集合中排序在前預設比例的元素，得到除去干擾后的特征矩陣；對去除干擾后的特征矩陣進行短時逆傅里葉變換，得到增強后的音頻數據。

在一些實施例中，在對每個通道的音頻數據進行短時傅里葉變換，得到每個通道對應的時頻譜數據之前，所述方法還包括：

通過如下公式對所述待增強的音頻數據進行歸一化處理：

其中，X’表示歸一化后的音頻數據，X表示歸一化前的音頻數據，E(X)表示音頻數據X的期望，Var(X)表示音頻數據X的方差。

在一些實施例中，所述根據音源個數對所述特征矩陣中的元素進行聚類，包括：采用K-means算法，根據音源個數對所述特征矩陣中的元素進行聚類。

在一些實施例中，在根據音源個數對所述特征矩陣中的元素進行聚類，得到多個音源集合之前，所述方法還包括：將所述特征矩陣中每個元素減去預設背景噪聲值，得到去除背景噪聲后的特征矩陣；其中，根據音源個數對所述特征矩陣中的元素進行聚類，得到多個音源集合，包括：根據音源個數對去除背景噪聲后的特征矩陣中的元素進行聚類，得到多個音源集合。