[發明專利]基于音頻指紋特征的音樂檢索系統

有效

• 申請號: 201310378000.0
• 申請日: 2013-08-27
• 公開（公告）號: CN103440313B
• 公開（公告）日: 2018-10-16
• 發明（設計）人: 俞鵬飛;楊夙
• 申請（專利權）人: 復旦大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;盛志范

本發明屬于信息檢索技術領域，具體為一種基于音頻指紋特征的音樂檢索系統。該系統由預處理模塊、特征提取模塊、倒排索引模塊和精匹配模塊四部分組成。預處理模塊主要完成音頻信號的轉換、重采樣、濾波；特征提取模塊是對音頻文件的表示，采用音頻指紋特征，通過兩次基于動態閾值的篩選來選取頻譜中最為穩定的點作為特征點，用一個點對表示一個特征；倒排索引模塊是將特征作為關鍵詞，由歌曲庫的特征建立倒排索引，根據相同關鍵詞多少返回索引結果；精匹配模塊是結合音頻特征間的時序關系，采用改進的編輯距離作為兩個特征序列的相似度，以此優化索引結果。本系統適用海量音樂檢索，尤其能對錄音查詢片段進行有效檢索。

技術領域

本發明屬于信息檢索技術領域，具體涉及音頻信號處理和多媒體信息檢索系統，進一步涉及一種基于音頻指紋特征的音樂檢索系統。

背景技術

早前，由于音樂信息是非結構化數據，其檢索系統一般通過基于文本描述來實現檢索。例如在互聯網中檢索一首歌曲，以歌曲的名字、歌唱者、作歌者、歌曲存取格式等來檢索。該方法具有很多的缺點：數據量越來越大，從而人工注釋工作量也隨之加大；音頻感知難以用文字注釋表達清楚；信息描述具有一定的主觀性。而基于內容的音樂檢索系統是根據信息本身的特征參數而非外部屬性對內容進行檢索，其提取過程由程序自動完成。因此，其不存在對信息描述的主觀性，能更好的表示音樂信息，從而使檢索更加有效。

音頻特征是音頻信息的結構化表示，是基于內容的音頻檢索系統中較為關鍵的一步，音頻特征的好壞直接影響系統性能。音頻特征分為時域音頻特征和變換域音頻特征，時域音頻特征較為容易提取，但抗噪能力較差；變換域特征提取過程較復雜，抗噪能力良好，使用較多。在變換域特征中，較為常見的是基于傅里葉和小波變換的特征。早期，Mel倒譜系數(MFCC)和線性預測倒譜系數(LPCC)特征較為經典，特別是MFCC，由于其特征是根據人的聽覺模型生成的，應用較為廣泛。隨著音頻指紋特征的出現，由于其特征魯棒性較好，使得大量學者投入在這方面進行研究，發展較快。

目前，基于音頻指紋特征的音樂檢索系統以Shazam公司和Philips公司的音樂檢索系統較為經典。Shazam公司的音樂檢索系統是在頻譜上選取局部極值點作為特征點，然后把相鄰的兩個特征點組成一個點對來表示一個特征；采用hash索引實現檢索；查詢時，使用直方圖統計相同特征點的時間差，一般目標歌曲的時間差是統一的，將會集中出現在某處，從而檢索到該歌曲。該系統查詢方式并不適用海量音頻檢索，而且局部極值點非常多，導致特征數據非常多，很多特征抗噪能力差。在Philips公司的音樂檢索系統中，特征是在頻譜上計算各頻段能量，根據相鄰幀的能量大小，將各頻段量化成 0 或 1，所有頻段組成一個二進制序列，通過哈希(hash)函數，得到最終特征。采用哈希表實現檢索，通過統計詞頻數來進行檢索排序。在海量音樂數據下，hash沖突會非常多，也不適用，同時在特征性能上不如前一種指紋特征。

發明內容

本發明的目的在于提供一種基于音頻指紋特征的音樂檢索系統，該系統能夠在海量音樂信息下進行快速準確的檢索，且能夠對錄音查詢片段進行有效檢索。

本發明提供的基于音頻指紋特征的音樂檢索系統，包括預處理模塊，特征提取模塊，倒排索引模塊和精匹配模塊四個部分。其中：

所述的預處理模塊，用于音頻文件格式統一，音頻重采樣和音頻濾波。

所述的特征提取模塊，用于對音樂文件的結構化表示，采用基于動態閾值的音樂指紋特征。首先對歌曲序列進行分幀，幀之間有較高重疊率，對每幀進行快速傅里葉變換（FFT），處理完所有幀，得到頻譜矩陣；接著，對頻譜矩陣進行平滑處理；然后，在矩陣中選取極值點，并根據動態閾值對這些點進行兩次篩選，取大于閾值的點作為特征點；最后，用一個點對來表示一個特征，并經哈希（Hash）函數變換，一個哈希值即為一個特征。對于每個特征點，在其后續頻段的鄰近區域內，選取最多P個最近鄰的特征點與該特征點一一組成特征，所有特征按幀的先后順序和特征點的篩選順序組成一個特征序列。