[發(fā)明專利]一種基于多模態(tài)學(xué)習(xí)的音樂情感分類方法

有效

• 申請?zhí)枺?/td>: 202010199527.7
• 申請日: 2020-03-20
• 公開（公告）號: CN111460213B
• 公開（公告）日: 2023-07-18
• 發(fā)明（設(shè)計）人: 李曉雙;韓立新;李景仙
• 申請（專利權(quán)）人: 河海大學(xué)
• 主分類號: G06F16/65
• 分類號: G06F16/65;G06F16/683;G06F18/241;G06F18/2415;G06F18/25;G06N3/0442;G06N3/047;G06N3/048;G06N3/09;G10L25/03;G10L25/51
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 羅運紅

1.一種基于多模態(tài)學(xué)習(xí)的音樂情感分類方法，其特征在于：包括以下步驟：

S1、數(shù)據(jù)預(yù)處理，對M首歌的音頻數(shù)據(jù)、歌詞數(shù)據(jù)、用戶評論這三種不同模態(tài)的信息分別進(jìn)行預(yù)處理，依據(jù)情感類別構(gòu)建數(shù)據(jù)集；

將音頻數(shù)據(jù)由MP3格式轉(zhuǎn)為WAV格式，將每首歌切分為若干段音頻；對處理后的音頻片段利用離散傅里葉變換法將音頻信息轉(zhuǎn)化為頻域信息，為每首歌保存語譜圖；并選取中間的若干個片段作為每首音樂的代表，同時利用香農(nóng)定理將頻率重建；

對歌詞數(shù)據(jù)利用結(jié)巴分詞進(jìn)行章、節(jié)、詞的劃分；對用戶評論進(jìn)行過濾清洗，將其序列化并統(tǒng)一長度；

S2、表示學(xué)習(xí)，構(gòu)建三種模態(tài)的表示學(xué)習(xí)網(wǎng)絡(luò)模型，對音頻數(shù)據(jù)轉(zhuǎn)化后的語譜圖利用深度殘差網(wǎng)絡(luò)ResNet建立音頻-語譜圖識別模型；對歌詞數(shù)據(jù)利用雙向長短時期記憶網(wǎng)絡(luò)BiLSTM建立歌詞-主題模型；對評論數(shù)據(jù)利用向量空間模型VSM建立評論-詞向量模型；分別得到不同模態(tài)下音樂數(shù)據(jù)的特征表示；將每個模態(tài)映射到各自的表示空間，分別訓(xùn)練各模態(tài)表示學(xué)習(xí)網(wǎng)絡(luò)模型；

S3、特征提取，通過步驟S2訓(xùn)練后的網(wǎng)絡(luò)模型分別提取對應(yīng)模態(tài)的特征向量，并降維到K維向量，分別得到三種模態(tài)的K維特征向量；

S4、多模態(tài)融合，對步驟S3提取的三類K維特征向量，通過融合模型進(jìn)行多模態(tài)級聯(lián)融合，建立全面情感特征表示；融合模型通過增加線性依賴項來實現(xiàn)多模態(tài)融合，具體特征融合過程表示為：

Z→W_j

其中Z表示一個未知樣本，其歸屬于第j個模式類W_j，該類為在已知條件F(W_j)下后驗概率最大的模式類；其后驗概率表示為：

其中x_in代表樣本的N_i維特征向量的第n個維度，i∈[1,M],n∈[1,N]，M是設(shè)定的分類器個數(shù)，N為樣本特征總體維度；表示第i個分類器的依賴權(quán)重，是一個極小值；P(w_k|x_in)表示第k類的后驗概率；

S5、情感分類決策，利用Softmax函數(shù)作為分類器對融合后的K維特征進(jìn)行音樂情感分類的訓(xùn)練，最終生成情感分類器，用于對未分類的歌曲添加情感標(biāo)簽。