[發明專利]基于深度學習的音頻音質增強

有效

• 申請號: 201810583122.6
• 申請日: 2018-06-05
• 公開（公告）號: CN109147805B
• 公開（公告）日: 2021-03-02
• 發明（設計）人: 秦宇;姚青山;喻浩文;盧峰
• 申請（專利權）人: 安克創新科技股份有限公司
• 主分類號: G10L21/007
• 分類號: G10L21/007;G10L25/30
• 代理公司: 北京市磐華律師事務所 11336
• 代理人: 高偉;卜璐璐

本發明提供一種基于深度學習的音頻音質增強方法、裝置、系統、存儲介質和計算機程序。所述方法包括：獲取有損音頻數據，并對所述有損音頻數據進行特征提取以得到所述有損音頻數據的特征；以及基于所述有損音頻數據的特征，利用訓練好的音頻重構神經網絡將所述有損音頻數據重構為音質接近于無損音頻的輸出音頻數據。根據本發明實施例的基于深度學習的音頻音質增強方法、裝置、系統、存儲介質和計算機程序基于深度學習對有損音頻音質進行增強，使有損音頻音質通過深層神經網絡重構達到接近無損音頻的音質，從而能夠實現傳統方法無法達到的音質提升效果。

技術領域

本發明涉及音質優化技術領域，更具體地涉及一種基于深度學習的音頻音質增強方法、裝置、系統、存儲介質和計算機程序。

背景技術

音質通常指人對音頻質量的主觀評價。影響音頻音質的因素有很多，對于編碼的音頻，一個起決定性作用的因素是音頻的編碼壓縮程度。原始的聲音被錄音后形成的可能是線性脈沖編碼調制(LPCM)格式文件，是數模轉換后的脈沖序列，這在音頻理論上是音質最還原實際現場的數字音頻，是高碼率的無損的格式。但是由于通信帶寬和存儲空間的限制，一般在數字設備上存儲的音頻要經過編碼壓縮。無損壓縮諸如無損音頻壓縮編碼如FLAC、APE等，能夠保存原始無損文件信息。有損壓縮諸如MP3、高級音頻編碼(AAC)等由于極大降低了碼率、節省了傳輸和存儲資源而得到了更廣泛的應用。然而，有損壓縮方法雖然在一定程度上保存了音頻基本的音質水平，但是相比無損音頻音質仍然有所不如。

隨著人們對音質的需求越來越高，有損音頻格式的音質已不能滿足需求，因此在有限的存儲和帶寬資源限制下，通過數字信號處理方法，對有損音頻進行重構，使其音質接近編碼前的無損音頻是一個有價值的研究方向。另一方面，涉及音頻傳輸通信場景中，如果較低碼率的音頻能通過算法重構，使其音質接近無損音頻的水平，對節省帶寬資源也有重要意義。然而，目前用軟件方法進行有損音頻重構尚無相應可行方案，對于有損音頻的重構，通常是采取填充或插值數據的方法，但這種方法過于粗糙，基本無法還原無損音頻的音質。

發明內容

為了解決上述問題中的至少一個而提出了本發明。本發明提出了一種關于基于深度學習的音頻音質增強的方案，其基于深度學習方法對有損音頻音質進行增強，使有損音頻音質通過深層神經網絡重構達到接近無損音頻的音質，從而能夠實現傳統方法無法達到的音質提升效果。下面簡要描述本發明提出的關于基于深度學習的音頻音質增強的方案，更多細節將在后續結合附圖在具體實施方式中加以描述。

根據本發明一方面，提供了一種基于深度學習的音頻音質增強方法，所述方法包括：獲取有損音頻數據，并對所述有損音頻數據進行特征提取以得到所述有損音頻數據的特征；以及基于所述有損音頻數據的特征，利用訓練好的音頻重構神經網絡將所述有損音頻數據重構為音質接近于無損音頻的輸出音頻數據。

在本發明的一個實施例中，所述音頻重構神經網絡的訓練包括：獲取無損音頻樣本和有損音頻樣本，其中所述有損音頻樣本是由所述無損音頻樣本通過變換而得到；對所述有損音頻樣本和所述無損音頻樣本分別進行特征提取以分別得到所述有損音頻樣本的特征和所述無損音頻樣本的特征；以及將得到的所述有損音頻樣本的特征作為所述音頻重構神經網絡的輸入層的輸入，并將得到的所述無損音頻樣本的特征作為所述音頻重構神經網絡的輸出層的目標，以訓練所述音頻重構神經網絡。

在本發明的一個實施例中，所述無損音頻樣本經過格式變換得到所述有損音頻樣本。

在本發明的一個實施例中，所述無損音頻樣本和所述有損音頻樣本的采樣頻率和量化位數均相同。

在本發明的一個實施例中，所述特征提取得到的特征包括頻域幅度和/或能量信息。

在本發明的一個實施例中，所述特征提取得到的特征還包括頻譜相位信息。

在本發明的一個實施例中，所述特征提取的方式包括短時傅里葉變換。