[發(fā)明專利]一種基于音頻特征誘導(dǎo)信息增強(qiáng)的音樂(lè)自動(dòng)標(biāo)記方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810815313.0
• 申請(qǐng)日: 2018-07-24
• 公開(kāi)（公告）號(hào): CN109102006B
• 公開(kāi)（公告）日: 2021-09-07
• 發(fā)明（設(shè)計(jì)）人: 張敏靈;張倩汶
• 申請(qǐng)（專利權(quán)）人: 東南大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 柏尚春

本發(fā)明公開(kāi)一種基于音頻特征誘導(dǎo)信息增強(qiáng)的音樂(lè)自動(dòng)標(biāo)記方法，該方法通過(guò)MFCC、Beat、LPC、CQT組合生成音頻屬性特征向量；利用稀疏表示法學(xué)習(xí)訓(xùn)練集屬性特征間的結(jié)構(gòu)矩陣，并將該結(jié)構(gòu)矩陣作為訓(xùn)練集樣本相互關(guān)系的監(jiān)督信息誘導(dǎo)標(biāo)記空間進(jìn)行重構(gòu)，生成數(shù)值標(biāo)記向量，完成標(biāo)記信息增強(qiáng)；而后利用多元回歸技術(shù)得到分類預(yù)測(cè)模型；將待標(biāo)記音樂(lè)送入預(yù)測(cè)模型計(jì)算標(biāo)記信息值，固定閾值進(jìn)行分類，實(shí)現(xiàn)自動(dòng)標(biāo)記。本發(fā)明解決傳統(tǒng)標(biāo)記系統(tǒng)在訓(xùn)練過(guò)程中標(biāo)記信息單一化的問(wèn)題，利用信息增強(qiáng)技術(shù)有效提高訓(xùn)練集監(jiān)督信息質(zhì)量，進(jìn)一步提高音樂(lè)自動(dòng)標(biāo)記系統(tǒng)的準(zhǔn)確率和泛化性。

技術(shù)領(lǐng)域

本發(fā)明屬于模式識(shí)別和機(jī)器學(xué)習(xí)領(lǐng)域，尤其涉及一種基于音頻特征誘導(dǎo)信息增強(qiáng)的音樂(lè)自動(dòng)標(biāo)記方法。

背景技術(shù)

音樂(lè)作為人類社會(huì)生活不可缺少的一部分，通過(guò)有組織的節(jié)奏形成具象化曲調(diào)，細(xì)膩地表達(dá)著人們思想感情的動(dòng)向以及現(xiàn)實(shí)生活的軌跡，潛移默化地影響著人們的娛樂(lè)、教育、審美等方方面面。近年來(lái)，隨著互聯(lián)網(wǎng)技術(shù)的不斷革新，音樂(lè)制作與傳播早已突破了時(shí)間與空間的限制，音樂(lè)作品正呈現(xiàn)爆發(fā)式的增長(zhǎng)，但與此同時(shí)，帶來(lái)的音樂(lè)管理與分類的難題卻尤為突出。網(wǎng)絡(luò)上參差不齊的音樂(lè)標(biāo)記信息困擾著許多聽(tīng)眾，也給音樂(lè)檢索等技術(shù)的發(fā)展帶來(lái)瓶頸，因此音樂(lè)標(biāo)記質(zhì)量受到越來(lái)越多人的重視。如果有一種技術(shù)方法能夠?qū)σ魳?lè)主題、樂(lè)器、情感，場(chǎng)景等多種屬性下標(biāo)記進(jìn)行分類并打上準(zhǔn)確的多標(biāo)記信息，必然能極大程度上地提高用戶體驗(yàn)。基于此，高效準(zhǔn)確的音樂(lè)自動(dòng)標(biāo)記方法已成為一個(gè)重要的研究課題。該方法下，未知音樂(lè)提交給自動(dòng)標(biāo)記裝置，裝置根據(jù)訓(xùn)練樣例音樂(lè)對(duì)其進(jìn)行快速準(zhǔn)確的分類。一種行之有效的策略是將標(biāo)記過(guò)程看成學(xué)習(xí)的過(guò)程，使用機(jī)器學(xué)習(xí)的技術(shù)對(duì)已知標(biāo)記信息的音樂(lè)進(jìn)行學(xué)習(xí)，最終得到一個(gè)分類模型。最后使用這個(gè)經(jīng)過(guò)訓(xùn)練得到的模型對(duì)未知音樂(lè)進(jìn)行標(biāo)記。

一首音樂(lè)歌曲通常對(duì)應(yīng)不同屬性下的多個(gè)標(biāo)記?，F(xiàn)有的音樂(lè)標(biāo)記方法往往受限于屬性，比如，只能處理樂(lè)器屬性的標(biāo)記工作，缺少通用性；此外，已有的研究成果大多處理多分類問(wèn)題而非多標(biāo)記問(wèn)題，比如，樂(lè)器屬性下分類結(jié)果只能是鋼琴、吉他、小提琴標(biāo)記之一，而不能處理同時(shí)存在多個(gè)標(biāo)記的情景。現(xiàn)如今，部分涉及多標(biāo)記情景音樂(lè)自動(dòng)標(biāo)記的方法，則在訓(xùn)練過(guò)程中存在標(biāo)記信息過(guò)于單一化，或者要求提供額外的輔助標(biāo)記信息等限制。本發(fā)明通過(guò)音頻特征誘導(dǎo)信息增強(qiáng)，挖掘特征空間與標(biāo)記空間內(nèi)在結(jié)構(gòu)相似性，不需要額外信息，即可幫助自動(dòng)標(biāo)記裝置增加標(biāo)記信息量，提高標(biāo)記性能。

發(fā)明內(nèi)容

發(fā)明目的：針對(duì)以上現(xiàn)有技術(shù)的不足，本發(fā)明提出一種基于音頻特征誘導(dǎo)信息增強(qiáng)的音樂(lè)自動(dòng)標(biāo)記方法，依次處理各屬性下的數(shù)據(jù)，借助音頻特征進(jìn)行訓(xùn)練樣本間結(jié)構(gòu)信息的學(xué)習(xí)，從而獲得標(biāo)記間的高階相關(guān)性，指導(dǎo)二值標(biāo)記向數(shù)值標(biāo)記轉(zhuǎn)化，增加可利用信息量，為最終的分類模型提供更強(qiáng)大的識(shí)別性能和泛化能力。

技術(shù)方案：為實(shí)現(xiàn)本發(fā)明的目的，本發(fā)明所采用的技術(shù)方案是：一種基于音頻特征誘導(dǎo)信息增強(qiáng)的音樂(lè)自動(dòng)標(biāo)記方法，其包括以下步驟：

(1)定義第m個(gè)屬性的訓(xùn)練集表示為D_m＝{(x_i,Y_i)|1≤i≤Q_m}，其中，x_i表示第i個(gè)音樂(lè)樣本的特征向量，Y_i表示第i個(gè)音樂(lè)樣本的標(biāo)記向量，訓(xùn)練集D_m由Q_m個(gè)音樂(lè)樣本組成；標(biāo)記向量Y_i＝[t_i1,…,t_ij,…,t_iN]由N個(gè)標(biāo)記組成，t_ij是第i個(gè)樣本的第j個(gè)標(biāo)記的標(biāo)記值，設(shè)置每一個(gè)標(biāo)記值對(duì)應(yīng)一個(gè)標(biāo)記；當(dāng)t_ij＝1表示第i個(gè)樣本的第j個(gè)標(biāo)記為相關(guān)標(biāo)記；當(dāng)t_ij＝-1表示第i個(gè)樣本的第j個(gè)標(biāo)記為無(wú)關(guān)標(biāo)記；

(2)獲得M個(gè)屬性的訓(xùn)練集D_m,m＝1,2,…,M，利用稀疏表示方法得到結(jié)構(gòu)矩陣U_m，并獲得標(biāo)記增強(qiáng)信息R_m,，M表示屬性個(gè)數(shù)，m表示屬性序號(hào)；