[發明專利]聲音信號處理方法、裝置和電子設備

有效

• 申請號: 202011462091.2
• 申請日: 2020-12-08
• 公開（公告）號: CN112634928B
• 公開（公告）日: 2023-09-29
• 發明（設計）人: 范文之;孔凡留;徐楊飛;張志飛
• 申請（專利權）人: 北京有竹居網絡技術有限公司
• 主分類號: G10L21/0216
• 分類號: G10L21/0216;G10L21/0232
• 代理公司: 泰和泰律師事務所 51219
• 代理人: 祝海燕

1.一種聲音信號處理方法，其特征在于，包括：

將第一音頻數據對應的第一頻譜數據，導入預先訓練的聲音處理模型，得到處理結果；

基于所述處理結果，生成所述第一音頻數據對應的純凈音頻數據；其中，

所述聲音處理模型包括至少一個預設卷積層，在所述預設卷積層執行的操作包括：基于第一卷積核組，對輸入預設卷積層的對應第一聲譜特征圖進行卷積操作，得到第二聲譜特征圖；基于第二卷積核組，對得到的第二聲譜特征圖進行合并，得到與第二卷積核組對應的第三聲譜特征圖；

所述聲音處理模型包括至少一個自注意力層，所述自注意力層設置在所述至少一個預設卷積層之后；其中，在所述自注意力層中執行的操作包括：對于預設卷積層輸出的每個聲譜特征圖，根據該聲譜特征圖中每個位置的取值與該聲譜特征圖中其它位置的取值，對該位置進行重新取值。

2.根據權利要求1所述的方法，其特征在于，所述第一卷積核組的數量與輸入至所述預設卷積層的第一聲譜特征圖的數量匹配，所述第二卷積核組的數量與輸出通道數量匹配。

3.根據權利要求1所述的方法，其特征在于，第一卷積核組中的第一卷積核數量為至少兩個；以及

所述基于第一卷積核組，對輸入預設卷積層的對應第一聲譜特征圖進行卷積操作，得到第二聲譜特征圖，包括：

根據第一對應關系，采用第一卷積核組中的第一卷積核對第一聲譜特征圖進行卷積操作，得到第二聲譜特征圖，其中，第一對應關系用于指示第一卷積核與第一聲譜特征圖的頻率之間的對應關系。

4.根據權利要求1所述的方法，其特征在于，第二卷積核組中的第二卷積核數量為至少兩個；以及

所述基于第二卷積核組，對得到的第二聲譜特征圖進行合并，得到與第二卷積核組對應的第三聲譜特征圖，包括：

根據第二對應關系，采用第二卷積核組中的第二卷積核合并得到的第二聲譜特征圖，得到與第二卷積核組對應的第三聲譜特征圖，其中，所述第二對應關系用于指示第二卷積核與第二聲譜特征圖的頻率之間的對應關系。

5.根據權利要求1所述的方法，其特征在于，第一卷積核組的卷積核數量根據第一聲譜特征圖頻率維的長度和第一步長確定。

6.根據權利要求1所述的方法，其特征在于，第一卷積核的感受野基于候選采樣位置和預設的位置偏移參數確定。

7.根據權利要求1所述的方法，其特征在于，應用于終端設備，所述聲音處理模型設置于所述終端設備。

8.根據權利要求1-7中任一項所述的方法，其特征在于，所述處理結果包括掩蔽數據；以及

所述基于所述處理結果，生成所述第一音頻數據對應的純凈音頻數據，包括：

根據所述掩蔽數據和所述第一頻譜數據，生成第二頻譜數據；

將第二頻譜數據轉換為時域數據，得到所述純凈音頻數據。

9.根據權利要求8所述的方法，其特征在于，所述聲音處理模型通過以下方式訓練：

獲取混合音頻樣本；

將混合音頻樣本導入未訓練完成的聲音處理模型，生成候選掩蔽數據；

根據所述混合音頻樣本的標簽和所述候選掩蔽數據，生成第一損失值；

基于所述第一損失值，調整未訓練完成的聲音處理模型中的參數；其中

所述混合音頻樣本的標簽通過如下方式生成：對純凈音頻樣本和混合音頻樣本分別進行時頻變換，根據變換得到數據生成訓練用掩蔽數據，以及將訓練用掩蔽數據確定為標簽。

10.根據權利要求1-7中任一項所述的方法，其特征在于，所述處理結果包括純凈頻譜數據；以及

所述基于所述處理結果，生成所述第一音頻數據對應的純凈音頻數據，包括：

將純凈頻譜數據轉換為時域數據，得到所述純凈音頻數據。