[發明專利]一種基于深度學習的音質特性處理方法及系統

在審

• 申請號: 201810583119.4
• 申請日: 2018-06-05
• 公開（公告）號: CN109147804A
• 公開（公告）日: 2019-01-04
• 發明（設計）人: 姚青山;秦宇;喻浩文;盧峰;陽萌
• 申請（專利權）人: 安克創新科技股份有限公司
• 主分類號: G10L21/007
• 分類號: G10L21/007;G10L25/30;G10L25/51;G10L25/84;G10L15/06
• 代理公司: 北京市磐華律師事務所 11336
• 代理人: 董巍;高偉

本發明提供一種基于深度學習的音質特性處理方法及系統。所述方法包括：對包含待處理音頻數據的用戶偏好數據進行特征提取得到所述待處理的音頻數據的數據特征；基于所述數據特征，利用訓練好的基線模型，生成所述待處理的音頻數據的音質處理結果；所述基線模型是利用廣泛大眾或單個用戶的音頻數據，行為數據及其他相關數據訓練得到的神經網絡模型。根據本發明方法及系統，基于深度學習方法對音質特性進行處理的方法，并利用用戶反饋數據進行模型在線學習，實現用戶個性化音質調節。

技術領域

本發明涉及音質處理技術領域，更具體地涉及一種基于深度學習的音質特性處理方法及系統。

背景技術

音質是人對音頻質量的主觀評價，且每個人有不同的音質偏好。無論是音頻播放設備供應商還是音頻門戶平臺，設法提升和增強音質，是能夠提升用戶聽音體驗的最直接方法之一。但是，目前在音質評價指標模型不完備情況下，不僅那些我們無法客觀量化的指標尚無法進行調節，即使是能夠量化或建模的音質特性，由于每個人的音質偏好不同，也面臨著如何實現個性化的自動調節的問題。

現有技術中的音質調節方法，一般是由用戶自己調節，但是這種辦法對用戶體驗并不友好，而針對特對音頻自身特性或用戶偏好的自適應音質調節方法還缺乏應用；另一種方法是，通過對音樂的標題，作者等標簽特征做分析，利用音樂推薦算法，將用戶對音樂的偏好與某一類或幾類風格靠攏，利用該類風格已有的業內通用音質設置去給用戶做推薦。

但是多類別和未知類別的音頻卻很難進行調節設置，且這種方法的數據是人工標注，一旦脫離網絡環境，可能除了音樂的波形外，很難獲取其他信息，比如音樂風格，用戶評價，和推薦算法需要用到的其他參數，這時這種方法就失效了。

綜上，現有技術中存在的主要問題包括：

1、大多數音質特性普遍缺乏自動調節技術，尤其是針對個人用戶的個性化音質處理技術。

2、利用已有風格或類型的經驗數據進行調節的音質，如EQ，對于未知類別的音頻無法進行調節，對于具有多種類別特性的音頻缺少經驗數據融合的方法，且依賴網上的人工評價信息。

3、人工損傷的音頻信息還原技術需要更好方法。

4、可量化的音質特性如何與用戶主觀感受建立起關聯以實現音質特性增強。

5、未知量化方法的特性將如何處理。

發明內容

為了解決上述問題中的至少一個而提出了本發明。本發明提出了一種關于基于深度學習的音質特性處理的方案，基于深度學習方法對音質特性進行處理的方法，并利用用戶反饋數據進行模型在線學習，實現用戶個性化音質調節。本發明還根據音質指標的量化方法，數據獲取方式，信號域特征等維度將音質特性劃分為多個大類，針對每一類的特點設計特定音質調節模型，對于現有已知的音質指標可在實現音質調整和用戶個性化定制，對未知的音質指標可根據其性質歸屬到所述多個大類，按既有框架進行訓練和調節，無法歸屬到六類中的未知音質特性，可在本框架基礎上進行擴展，直到涵蓋所有音質特性。

根據本發明一方面，提供了一種基于深度學習的音質特性處理方法，包括：

對包含待處理音頻數據的用戶偏好數據進行特征提取得到所述待處理的音頻數據的數據特征；

基于所述數據特征，利用訓練好的基線模型，生成音質處理結果；

所述基線模型是利用廣泛大眾或單個用戶的音頻數據，行為數據及其他相關數據訓練得到的神經網絡模型。

示例性地，用戶偏好數據包括反映用戶對音質特性偏好的數據。

示例性地，所述用戶偏好數據包括用戶行為數據、用戶音頻列表數據、播放中的音頻數據、環境噪聲數據、設備數據及其他參數數據中的至少一種。