[發(fā)明專利]一種基于人體舞蹈情感的音樂選擇方法

有效

• 申請?zhí)枺?/td>: 202011467908.5
• 申請日: 2020-12-14
• 公開（公告）號: CN112989071B
• 公開（公告）日: 2022-11-04
• 發(fā)明（設(shè)計）人: 潘俊君;白雋瑄;趙沁平
• 申請（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號: G06F16/432
• 分類號: G06F16/432;G06N3/04;G06N3/08
• 代理公司: 北京科迪生專利代理有限責(zé)任公司 11251
• 代理人: 張乾楨;鄧治平

本發(fā)明涉及一種基于人體舞蹈情感的音樂選擇方法，包括以下步驟：步驟(1)、輸入舞蹈動作的實數(shù)矩陣，采用自動編碼器和卷積神經(jīng)網(wǎng)絡(luò)獲得舞蹈動作的深度特征；步驟(2)、在步驟(1)得到的深度特征上，利用前饋神經(jīng)網(wǎng)絡(luò)回歸出舞蹈動作的情感坐標(biāo)；步驟(3)、遍歷舞蹈序列與音樂，計算音樂情感坐標(biāo)與舞蹈情感坐標(biāo)的距離，選擇出累加距離最小的多首歌曲，利用舞蹈動作蘊含的情感選擇音樂，使選擇的音樂符合對應(yīng)的情感。采用了自動編碼器和卷積神經(jīng)網(wǎng)絡(luò)獲得舞蹈動作的深度特征；在深度特征上，利用前饋神經(jīng)網(wǎng)絡(luò)獲得舞蹈動作的情感坐標(biāo)；再根據(jù)本方法提出的情感匹配算法選擇音樂。本發(fā)明的方法能夠選擇符合動作情感的音樂。

技術(shù)領(lǐng)域

本發(fā)明涉及聲音處理領(lǐng)域，尤其是一種基于人體舞蹈情感的音樂選擇方法。

背景技術(shù)

舞蹈和音樂作為兩種表達(dá)人類情感的重要藝術(shù)表現(xiàn)形式具有本質(zhì)的關(guān)聯(lián)。在音樂的伴奏下，人們經(jīng)常本能地跳舞。在某些舞劇里，肢體動作經(jīng)常用于表現(xiàn)人類情感，同樣地，作曲家也經(jīng)常用音樂表述自己的情感。因此，舞蹈和音樂存在著情感上的聯(lián)系。以往的一些研究中，研究者的重點是進(jìn)行舞蹈和音樂在節(jié)奏上的關(guān)聯(lián)，而并不是在情感層面進(jìn)行二者聯(lián)系的研究。

發(fā)明內(nèi)容

本發(fā)明解決的技術(shù)問題是：根據(jù)人體舞蹈動作表現(xiàn)的情感，自動選擇對應(yīng)情感的音樂。為此，本發(fā)明提出了一種基于人體舞蹈情感的音樂選擇方法。這種方法可以根據(jù)舞蹈動作表達(dá)的情感，自動選擇對應(yīng)情感的音樂。這種新的交互方式為多媒體娛樂提供了一種嶄新的互動方法。

本發(fā)明采用的技術(shù)方案為：一種基于人體舞蹈情感的音樂選擇方法，步驟如下：

步驟(1)、采用了自動編碼器和卷積神經(jīng)網(wǎng)絡(luò)獲得舞蹈動作的深度特征；

步驟(2)、在步驟(1)得到的深度特征上，利用前饋神經(jīng)網(wǎng)絡(luò)回歸出舞蹈動作的情感坐標(biāo)；

步驟(3)、遍歷舞蹈序列與音樂，計算音樂情感坐標(biāo)與舞蹈情感坐標(biāo)的距離，選擇出累加距離最小的多首歌曲。

所述步驟(1)中，舞蹈動作的輸入為60×78維實數(shù)矩陣X，深度特征H的計算公式(編碼器)如下：

其中，Φ表示為編碼器，ReLU為線性整流函數(shù)，當(dāng)作激活函數(shù)，Ψ是一個最大池化層，是一個卷積層，卷積核的尺寸是15,W₀為卷積層的權(quán)重，b₀為卷積層的偏置項，下標(biāo)0用于標(biāo)識當(dāng)前卷積層，深度特征H的形狀為30×256；

解碼器的計算如下：

其中，Φ^*表示為解碼器，Ψ^*是一個最大逆池化層，和分別為當(dāng)前卷積層的權(quán)重與偏置項，下標(biāo)0表示和編碼器的層次是對應(yīng)的；

神經(jīng)網(wǎng)絡(luò)訓(xùn)練的參數(shù)包括損失函數(shù)定義如下：

其中，α＝1.0×10^-5。

所述步驟(2)中，在情感坐標(biāo)系中，橫坐標(biāo)是Valence坐標(biāo)，表示情緒的愉悅程度，縱軸是Arousal坐標(biāo)，表示動作的激活程度；對Valence坐標(biāo)值使用多層前饋神經(jīng)網(wǎng)絡(luò)進(jìn)行回歸，計算公式如下：