[發明專利]基于標簽深度分析的音樂自動標注方法

在審

• 申請號: 201910047030.0
• 申請日: 2019-01-18
• 公開（公告）號: CN109918535A
• 公開（公告）日: 2019-06-21
• 發明（設計）人: 王振宇;蕭永樂;張睿;雷昶;高雨軒
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F16/68
• 分類號: G06F16/68;G06F16/65;G06N3/04;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 裴磊磊

本發明公開了一種基于標簽深度分析的音樂自動標注方法，包括以下步驟：S1、收集音樂數據并結合音樂標簽體系進行數據清洗；S2、對音樂數據進行采樣，轉換為梅爾頻譜圖并進行數據切片；S3、基于一維卷積網絡構建音頻多層級特征提取網絡，通過有監督學習進行參數預訓練；S4、基于二維卷積網絡進行音樂標簽向量表示學習，獲取音樂標簽特征；S5、實現音頻多層級特征與音樂標簽特征的特征聚合；S6、基于聚合特征進行最終的音樂標簽預測。本發明克服了傳統音樂標注方式不能應用于大規模音樂數據集的困難，根據音頻內容對音樂進行自動標注，減少了人工維護音樂標簽庫的工作量，具有很好的可用性。

技術領域

本發明涉及音樂信息研究領域，具體涉及一種基于標簽深度分析的音樂自動標注方法。

背景技術

近年來，數字音樂日益普及，用戶在互聯網上可訪問的音樂數量已超過3000萬首。另外，由于用戶經常在社交媒體上發布大量原創歌曲、翻唱歌曲和其他多媒體資源，音樂的類型日益多元化。作為一種組織海量音樂數據的有效手段，豐富的音樂標注信息對于在線音樂產品有重要價值。音樂標注信息也為音樂檢索、音樂發現服務提供很高的潛在經濟價值。基于此，音樂自動標注作為一種有效的音樂信息豐富方法受到越來越多的關注與研究。

深度神經網絡已經成功應用于音樂自動標注領域。深度學習通常需要一個規模足夠大的訓練集，而唯一滿足這個要求的只有在線音樂應用下用戶標注的音樂數據集。在這些用戶生成的標注元數據中，音樂標簽不僅用于描述音樂本身屬性如樂器、發布日期等，還用于描述用戶對音樂特性的主觀認識及個人觀點。用戶對音樂標簽的組織方式也有決定性作用，比如用戶可以根據個人習慣定義音樂標簽結構。例如，某些用戶在在線音樂流媒體上輸入獨特的標簽，如用隨機的字符序列對音樂進行標注，從而更好地管理個人音樂收藏。這些標簽對其他用戶沒有任何意義，因此這是用戶濫用音樂標注服務的一種體現。雖然這種性質的標簽很容易通過啟發式方法識別及去除，但用戶標注數據集中其他問題并不容易解決。這些問題包括錯誤標注，過度使用如流派或情感類別等主觀標簽，以及標簽分類體系異構等問題。這些問題是造成數據集中存在標簽噪聲的重要原因，數據集標簽噪聲會導致深度神經網絡的學習效果較差。

發明內容

本發明的目的是針對現有技術的不足，提供了一種基于標簽深度分析的音樂自動標注方法。

本發明的目的可以通過如下技術方案實現：

一種基于標簽深度分析的音樂自動標注方法，所述方法包括以下步驟：

S1、收集音樂數據并結合音樂標簽體系進行數據清洗；

S2、對音樂數據進行采樣，轉換為梅爾頻譜圖并進行數據切片；

S3、基于一維卷積網絡構建音頻多層級特征提取網絡，通過有監督學習進行參數預訓練；

S4、基于二維卷積網絡進行音樂標簽向量表示學習，獲取音樂標簽特征；

S5、實現音頻多層級特征與音樂標簽特征的特征聚合；

S6、基于聚合特征進行最終的音樂標簽預測。

進一步地，所述步驟S1具體包括以下步驟：

S11、從自有曲庫和互聯網音樂平臺收集音樂音頻和音樂標簽數據；

S12、根據音樂標簽體系對音樂標簽進行清洗、規范化，過濾掉缺少標簽標注的音樂數據。

進一步地，所述步驟S2具體包括以下步驟：

S21、將音樂音頻數據轉換為mp3格式，按照16kHz采樣頻率進行采樣或重采樣；

S22、對采樣音頻進行梅爾頻譜圖轉換；

S23、對梅爾頻譜進行對數處理，根據固定音頻幀窗口大小重復隨機采樣，再對每個切片進行標準化和歸一化。