[發明專利]音頻增強方法、裝置、計算機設備和存儲介質

在審

• 申請號: 202310551663.1
• 申請日: 2023-05-16
• 公開（公告）號: CN116564325A
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 徐雪;張馳;江文樂;楊潔瓊
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G10L21/02
• 分類號: G10L21/02;G10L25/30
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 姚姝婭

1.一種音頻增強方法，其特征在于，所述方法包括：

對金融系統的待處理音頻進行分割處理，得到所述待處理音頻的多個音頻片段；

獲取每個音頻片段與所述每個音頻片段的參考音頻片段之間的對齊特征，將所述每個音頻片段的初始音頻特征和對齊特征進行融合處理，得到所述每個音頻片段的融合特征；

對所述每個音頻片段的融合特征進行特征提取處理，得到所述每個音頻片段的目標音頻特征；

將所述每個音頻片段的目標音頻特征添加到所述每個音頻片段上，得到所述每個音頻片段的增強音頻片段；

將所述每個音頻片段的增強音頻片段進行組合，得到所述待處理音頻的增強音頻。

2.根據權利要求1所述的方法，其特征在于，所述獲取每個音頻片段與所述每個音頻片段的參考音頻片段之間的對齊特征，將所述每個音頻片段的初始音頻特征和對齊特征進行融合處理，得到所述每個音頻片段的融合特征，包括：

將每個音頻片段與所述每個音頻片段的參考音頻片段，輸入預先訓練的音頻增強模型中的可變形卷積層中進行可變形卷積處理，得到所述每個音頻片段與所述每個音頻片段的參考音頻片段之間的對齊特征；

對所述每個音頻片段的初始音頻特征和對齊特征進行拼接處理，得到所述每個音頻片段的拼接特征，作為所述每個音頻片段的融合特征。

3.根據權利要求2所述的方法，其特征在于，所述預先訓練的音頻增強模型還包括依次連接的第一特征提取層、第二特征提取層和第三特征提取層，所述第一特征提取層包括第一卷積層，所述第二特征提取層包括依次連接的第二卷積層、第一密集塊、第二密集塊、第三密集塊、拼接層、第三卷積層和第四卷積層，所述第一密集塊和所述第二密集塊還與所述拼接層連接，所述第三特征提取層包括依次連接的第五卷積層、殘差層、第六卷積層和重建層；

所述對所述每個音頻片段的融合特征進行特征提取處理，得到所述每個音頻片段的目標音頻特征，包括：

將所述每個音頻片段的融合特征輸入所述第一特征提取層中進行卷積處理，得到所述每個音頻片段的第一音頻特征；

將所述每個音頻片段的第一音頻特征輸入所述第二特征提取層中進行多次特征提取處理，得到所述每個音頻片段的第二音頻特征；

將所述每個音頻片段的第一音頻特征和第二音頻特征進行疊加后，輸入所述第三特征提取層中進行多次特征提取處理，得到所述每個音頻片段的目標音頻特征。

4.根據權利要求3所述的方法，其特征在于，所述預先訓練的音頻增強模型通過下述方式訓練得到：

獲取金融系統的樣本音頻和所述樣本音頻的實際增強音頻；

對所述樣本音頻進行分割處理，得到所述樣本音頻的多個樣本音頻片段；

將每個樣本音頻片段與所述每個樣本音頻片段的參考樣本音頻片段輸入待訓練的音頻增強模型中，得到所述每個樣本音頻片段的預測增強音頻片段；

將所述每個樣本音頻片段的預測增強音頻片段進行組合，得到所述樣本音頻的預測增強音頻；

根據所述樣本音頻的預測增強音頻和實際增強音頻，對所述待訓練的音頻增強模型進行訓練，得到訓練完成的音頻增強模型，作為所述預先訓練的音頻增強模型。

5.根據權利要求4所述的方法，其特征在于，所述根據所述樣本音頻的預測增強音頻和實際增強音頻，對所述待訓練的音頻增強模型進行訓練，得到訓練完成的音頻增強模型，包括：

根據所述樣本音頻的預測增強音頻和實際增強音頻，確定重建損失值和感知損失值；

將所述重建損失值和所述感知損失值進行融合處理，得到目標損失值；

根據所述目標損失值和預設通道剪枝方式，對所述待訓練的音頻增強模型進行訓練，直到達到訓練結束條件；

將達到所述訓練結束條件的訓練后的音頻增強模型，作為訓練完成的音頻增強模型。