[發(fā)明專利]一種流行歌曲情感綜合與分類方法

有效

• 申請?zhí)枺?/td>: 201810305399.2
• 申請日: 2018-04-08
• 公開（公告）號: CN108648767B
• 公開（公告）日: 2021-11-05
• 發(fā)明（設(shè)計）人: 孫書韜;王永濱;曹軼臻;王琦;趙莊言
• 申請（專利權(quán)）人: 中國傳媒大學(xué)
• 主分類號: G10L25/63
• 分類號: G10L25/63;G06F16/683;G06K9/62
• 代理公司: 北京思海天達(dá)知識產(chǎn)權(quán)代理有限公司 11203
• 代理人: 劉萍

1.一種流行歌曲情感綜合與分類方法，其特征在于分兩階段，首先，對一首音樂進(jìn)行音樂副歌出現(xiàn)模式判別，確定不同的流行音樂模式；其次采用一種柔性分段方法將一首歌曲分為N個片段，對每一個片段預(yù)測其愉悅度與激烈度；其次，依據(jù)一首流行音樂的模式和N個音樂片段的愉悅度和激烈度結(jié)果，選用不同的分類器，進(jìn)行整首音樂情感綜合，得出整首音樂的情感標(biāo)簽；

對一首歌的音樂片段的激烈度和愉悅度預(yù)測，形成歌曲情感演化序列；

采用副歌識別算法進(jìn)行副歌識別，副歌識別后，一首歌曲將呈現(xiàn)其它段，副歌，其它段，副歌交替出現(xiàn)的模式，其中其它段包括前奏，主歌或橋段；根據(jù)副歌出現(xiàn)的重復(fù)模式將流行歌曲分為k類，分為無副歌結(jié)構(gòu)，2次副歌出現(xiàn)，3次副歌出現(xiàn)，...,k次副歌出現(xiàn)結(jié)構(gòu)，取k不大于5，如果歌曲模式識別器識別出副歌出現(xiàn)次數(shù)大于5，令k＝5,將其歸為與k＝5的歌曲一類，并在后續(xù)處理中略掉第六次副歌出現(xiàn)及其后面的音樂內(nèi)容；在流行音樂歌曲模式檢測完成后，如果檢測到副歌，會得到各段副歌的起止時間；然后采用一種柔性分段策略對歌曲進(jìn)行分段，將一首完整的歌曲分為N個片段；每個片段的時長應(yīng)不大于10s；設(shè)計的柔性分段方案如下：

第一類為無重復(fù)副歌結(jié)構(gòu)；對于無重復(fù)副歌結(jié)構(gòu)，將歌曲等分為N＝N₁＝40個片段；假定流行歌曲的長度不大于400s，如果大于400s，將進(jìn)行離散采樣，等間距取出N₁個10s的片段；對于歌曲長度L400s的歌曲，片段長度Lc＝L/N；

第二類為二次重復(fù)結(jié)構(gòu)；對于二次重復(fù)結(jié)構(gòu)OCOC，其中C代表副歌片段，O代表其他類別片段，將其它段與副歌段進(jìn)行等數(shù)量分段；每個其它段O和每個副歌段C都分為M個小片段，每個小片段長度不大于10s，如果大于10s,進(jìn)行10s片段的等距離采樣；歌曲總共分為N＝N₂＝4M個片段，其中M為取10；

第三類為三次重復(fù)結(jié)構(gòu)；對于三次重復(fù)結(jié)構(gòu)OCOCOC，將其它段與副歌段進(jìn)行等數(shù)量分段；每個其它段O和每個副歌段C都分為M個小片段，每個小片段長度不大于10s，如果大于10s,進(jìn)行10s片段的等距離采樣；歌曲總共分為N＝N₃＝6M個片段，其中M為取7；

第四類為四次重復(fù)結(jié)構(gòu)，第五類為5次及以上重復(fù)結(jié)構(gòu)；對于4次重復(fù)結(jié)構(gòu)OCOCOCOC，和5次以上重復(fù)結(jié)構(gòu)，分段方法與前面的重復(fù)結(jié)構(gòu)相同，相應(yīng)分為N＝N₄＝8M和N＝N₅＝10M段，M分別取5和4。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，基于音樂有序片段的情感數(shù)據(jù)集訓(xùn)練音樂片段情感預(yù)測器；音樂片段情感的預(yù)測中采用Thayer的Valence-Arousal(V-A)模型來表示情感,分為愉悅度(valence)和激烈度(arousal)兩個維度；愉悅度表示情感的正面和負(fù)面屬性，激烈度指示情感的強(qiáng)烈程度(intensity)；音樂情感表示為激烈度和愉悅度指數(shù)v,a，v,a的取值范圍為[-1,+1]之間的實數(shù)；面向音樂片段的情感預(yù)測模型是由具有穩(wěn)定情感表達(dá)的音樂片段經(jīng)訓(xùn)練所得，稱之為V/A預(yù)測器，是由音樂片段聲學(xué)特征到V/A值的一個映射，其表示如式(1)，(2)，具體根據(jù)實施時選擇的分類器而有所不同；

V＝f_V(x₁,x₂,…,x_i,…,x_n) (1)

A＝f_A(x₁,x₂,…,x_i,…,x_n) (2)

其中x_i(i＝1,...,n)為音樂片段的第i個聲學(xué)特征值,n為進(jìn)行V/A值預(yù)測式選取的音樂聲學(xué)特征數(shù)量；

對于每一首歌曲，經(jīng)過分片情感預(yù)測，會得到N個激烈度指數(shù)和N個愉悅度指數(shù)，這兩組指數(shù)組合成一個序列E＝a₁,v₁,a₂,v₂,...,a_N，v_N作為情感綜合的輸入特征；在情感綜合階段，采用這個序列來預(yù)測一首歌曲的情感標(biāo)簽，

訓(xùn)練用于歌曲情感綜合的分類器，其輸入為某一類結(jié)構(gòu)歌曲情感演化序列E,輸出為歌曲情感標(biāo)簽；歌曲情感綜合分類器將針對不同副歌出現(xiàn)模式的歌曲分別訓(xùn)練，得到5個歌曲情感綜合分類器，與歌曲模式歸類相對應(yīng)；歌曲情感演化序列E的獲取依賴于歌曲模式識別與歌曲分段以及V/A預(yù)測器；f_j為第j類結(jié)構(gòu)對應(yīng)的情感綜合分類函數(shù)，形式如式(3)

L_j為采用f_j所得的分類標(biāo)簽，N_j含義為五種結(jié)構(gòu)歌曲進(jìn)行分片的對應(yīng)片數(shù)，f_j的輸入為對應(yīng)結(jié)構(gòu)歌曲的情感演化序列。