[發(fā)明專利]一種基于二分逼近動(dòng)態(tài)時(shí)間歸整匹配的音樂哼唱檢索方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201310505428.7
• 申請(qǐng)日: 2013-10-24
• 公開（公告）號(hào): CN103559232B
• 公開（公告）日: 2017-01-04
• 發(fā)明（設(shè)計(jì)）人: 鄒北驥;周義洪;王磊
• 申請(qǐng)（專利權(quán)）人: 中南大學(xué)
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G10L15/02;G10L15/08
• 代理公司: 長(zhǎng)沙市融智專利事務(wù)所43114
• 代理人: 黃美成

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于二分逼近動(dòng)態(tài)時(shí)間歸整匹配的音樂哼唱檢索方法，屬于音頻檢索和哼唱檢索技術(shù)領(lǐng)域。

背景技術(shù)

傳統(tǒng)的檢索音樂的方法是基于文本的檢索，當(dāng)前主流的搜索引擎，如Baidu、Yahoo和Google等，在文本檢索領(lǐng)域非常強(qiáng)大，但檢索多媒體數(shù)據(jù)使用的是基于文本檢索的方法。研究更加高效的、基于人類交流習(xí)慣的多媒體信息檢索技術(shù)，是信息技術(shù)發(fā)展的必然趨勢(shì)。音頻檢索作為多媒體信息檢索的重要組成部分之一，是國(guó)內(nèi)外信息檢索技術(shù)領(lǐng)域關(guān)注的重要課題。

哼唱檢索是音頻檢索的一個(gè)分支。當(dāng)用戶利用搜索引擎檢索一首音樂時(shí)，如果用戶忘記了該音樂的歌曲名和歌手名等信息，將很難通過搜索引擎找到這首音樂，這時(shí)用戶可以哼唱這首音樂在用戶腦海中印象最深刻的一段旋律，使用在線哼唱檢索系統(tǒng)來找到這首音樂，這種檢索的方法是哼唱檢索。哼唱檢索是一種基于內(nèi)容的音頻檢索，用戶通過麥克風(fēng)哼唱一段音樂片段作為輸入，哼唱檢索系統(tǒng)對(duì)輸入的音樂片段與數(shù)據(jù)庫(kù)模板音樂進(jìn)行匹配，檢索出音樂片段所對(duì)應(yīng)的歌曲。相對(duì)于傳統(tǒng)的基于文本的音樂檢索方法，哼唱檢索更加自然高效，更加符合人對(duì)音樂的印象，相比于歌曲名和歌手名等文字信息，人更加容易記住音樂的旋律，特別是音樂的高潮旋律部分。

哼唱檢索進(jìn)行較早研究的Asif?Ghias和R.J.McNab等人，采用時(shí)域上的自相關(guān)法提取音高，根據(jù)音高差用符號(hào)串(U，D，S)來表示旋律，采用近似字符串算法來進(jìn)行音樂哼唱片段和音樂數(shù)據(jù)庫(kù)模板的匹配，這種方法解決了音符相對(duì)音高的問題，但插入音符和丟失音符等會(huì)造成較大的誤差，因此該方法無(wú)法解決音符的時(shí)間伸展問題。

Lie?Lu和Hong?You等人，用基音輪廓、音程、基音持續(xù)時(shí)間表示旋律特征，提出了一種兩級(jí)匹配的算法，先用動(dòng)態(tài)規(guī)劃(Dynamic?Programming，DP)算法對(duì)齊音高輪廓，過濾一些誤差大于等于規(guī)定閾值的音樂數(shù)據(jù)庫(kù)模板，而對(duì)于誤差小于規(guī)定閾值的音樂數(shù)據(jù)庫(kù)的模板，再使用更加精確的算法比較對(duì)應(yīng)的音程和基音持續(xù)時(shí)間，從而篩選出音樂，他們要求用戶按照“DaDa…”來發(fā)音。該算法同樣存在Asif?Ghias和R.J.McNab等人所使用算法的問題，即無(wú)法解決音符的伸展問題，而且需要用戶按照“DaDa…”來發(fā)音，使得用戶在哼唱時(shí)很不自然，在不經(jīng)過哼唱學(xué)習(xí)的情況下，容易在哼唱的時(shí)候出錯(cuò)。

Willlam?Rand和Willlam?Birmingham等人提出了利用Markov統(tǒng)計(jì)模型進(jìn)行旋律相似性的比較，因?yàn)樗麄兊南到y(tǒng)是對(duì)頻率符號(hào)進(jìn)行建模，所以他們的方法對(duì)哼唱的音高比較敏感，但較好地解決插入和丟失音符等造成的哼唱誤差。Markov統(tǒng)計(jì)模型方法解決了音符的伸展問題，但無(wú)法解決音符相對(duì)音高的問題。

Mai?dln等人提出一種基于音高輪廓幾何相似性的匹配方法，根據(jù)音樂哼唱片段提取音高，并按時(shí)間的變化畫出音高曲線，而后在二維空間中比較兩條音高曲線的幾何相似性。通過在音高軸上的平移對(duì)齊音樂哼唱片段和音樂數(shù)據(jù)庫(kù)模板的平均音高，再通過計(jì)算夾在兩條曲線間的面積，判斷兩段旋律的匹配相似程度，面積越小相似度越高。音高輪廓幾何相似性的匹配算法解決了音符相對(duì)音高問題，但無(wú)法解決音符序列時(shí)間點(diǎn)對(duì)齊問題，對(duì)插入音符和丟失音符等誤差較大。

臺(tái)灣清華大學(xué)的張智星等人采用時(shí)間上限定音符的方法，采取避開音符切分的策略，避免因錯(cuò)誤的音符切分對(duì)旋律匹配造成負(fù)面影響。他們以每1／16秒對(duì)音高旋律特征進(jìn)行采樣，然后采用兩層匹配算法對(duì)提取的音高值進(jìn)行匹配處理。這樣首先排除掉一部分候選音樂，然后采用動(dòng)態(tài)時(shí)間歸整算法進(jìn)行精確匹配。這種方法避免了音符切分帶來的錯(cuò)誤，但同時(shí)也導(dǎo)致了匹配速度的不足。動(dòng)態(tài)時(shí)間歸整算法解決了音符序列時(shí)間點(diǎn)對(duì)齊問題，但是無(wú)法解決音符相對(duì)音高問題。

因此，有必要設(shè)計(jì)一種新型的音樂哼唱檢索方法。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是提供一種基于二分逼近動(dòng)態(tài)時(shí)間歸整匹配的音樂哼唱檢索方法，該基于二分逼近動(dòng)態(tài)時(shí)間歸整匹配的音樂哼唱檢索方法易于實(shí)施，而且檢索命中率高。

發(fā)明的技術(shù)解決方案如下：

一種基于二分逼近動(dòng)態(tài)時(shí)間歸整匹配的音樂哼唱檢索方法，包括以下步驟：

步驟1：原始數(shù)據(jù)的獲取；

從用戶哼唱的音樂片段中，提取所有的采樣電平數(shù)據(jù)，并將采樣電平數(shù)據(jù)進(jìn)行歸一化處理，得到歸一化數(shù)據(jù)；

歸一化過程為：

首先將每個(gè)電平數(shù)據(jù)除以32768.0f,接著找出進(jìn)行了除法運(yùn)算操作的所有數(shù)據(jù)中的最大值，最后將所有的數(shù)據(jù)乘以“0.9／最大值”；

步驟2：預(yù)處理；