[發明專利]一種基于人體舞蹈情感的音樂選擇方法

有效

• 申請號: 202011467908.5
• 申請日: 2020-12-14
• 公開（公告）號: CN112989071B
• 公開（公告）日: 2022-11-04
• 發明（設計）人: 潘俊君;白雋瑄;趙沁平
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06F16/432
• 分類號: G06F16/432;G06N3/04;G06N3/08
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 張乾楨;鄧治平

1.一種基于人體舞蹈情感的音樂選擇方法，其特征在于，包括以下步驟：

步驟(1)、輸入舞蹈動作的實數矩陣，采用自動編碼器和卷積神經網絡獲得舞蹈動作的深度特征；

步驟(2)、在步驟(1)得到的深度特征上，利用前饋神經網絡回歸出舞蹈動作的情感坐標；所述步驟(2)中，在情感坐標系中，橫坐標是Valence坐標，表示情緒的愉悅程度，縱軸是Arousal坐標，表示動作的激活程度；對Valence坐標值使用多層前饋神經網絡進行回歸，計算公式如下：

其中，R_v表示對Valence坐標的回歸函數，W₁、b₁、W₂、b₂、W₃、b₃、W₄、b₄為各層神經網絡的權重和偏置項；中間層的神經元為100、50、10；網絡訓練參數θ_v＝{W₁，b₁，W₂，b₂，W₃，b₃，W₄，b₄}；

對Arousal坐標值使用多層前饋神經網絡進行回歸，計算公式如下：

其中，R_a表示對Arousal坐標的回歸函數，W₅、b₅、W₆、b₆、W₇、b₇、W₈、b₈為各層神經網絡的權重和偏置項；中間層的神經元為100、50、10；網絡訓練參數θ_a＝{W₅，b₅，W₆，b₆，W₇，b₇，W₈，b₈}；

兩個網絡的損失函數為：

其中，v和a分別表示當前數據真實的Valence和Arousal坐標，α_v＝1.0×10^-6、α_a＝1.0×10^-6；

將整段舞蹈動作序列進行情感坐標計算，得到情感序列

步驟(3)、遍歷舞蹈序列與音樂，計算音樂情感坐標與舞蹈情感坐標的距離，選擇出累加距離最小的多首歌曲。

2.根據權利要求1所述的一種基于人體舞蹈情感的音樂選擇方法，其特征在于：所述步驟(1)中，舞蹈動作的輸入為60×78維實數矩陣X，利用自動編碼器進行深度特征H的計算如下：

其中，Φ表示為編碼器，ReLU為線性整流函數，當作激活函數，Ψ是一個最大池化層，是一個卷積層，卷積核的尺寸是15，W₀為卷積層的權重，b₀為卷積層的偏置項，下標0用于標識當前卷積層，深度特征H的形狀為30×256；

解碼器的計算如下：

其中，Φ^*表示為解碼器，Ψ^*是一個最大逆池化層，和分別為當前卷積層的權重與偏置項，下標0用于標識當前卷積層；

神經網絡訓練的參數包括損失函數定義如下：

其中，α＝1.0×10^-5。

3.根據權利要求1或2所述的一種基于人體舞蹈情感的音樂選擇方法，其特征在于：所述步驟(3)中，利用下面的算法選擇音樂：

算法的輸入為舞蹈動作序列m_dance，包含一段時間內的人體姿勢，所有歌曲的情感序列每一個元素包含一段時間內的Valence和Arousal坐標，其中t表示這首歌曲的長度，算法的輸出為符合情緒的多首歌曲，假定為N首歌曲，算法的計算過程如下：

第1步，根據步驟(2)計算動作的情感值序列其中m是序列的長度；

第2步，定義一個距離列表d_N＝{d₁，d₂，...，d_N}和閾值t_H，其中d₁，d₂，...，d_N用于記錄N首歌曲與輸入動作情緒值的距離，閾值t_H用于快速跳過不符合情緒的歌曲；

第3步，如果未遍歷完所有歌曲，執行第4步，否則執行第11步；

第4步，根據d_N里的最大值更新閾值t_H，執行第5步；

第5步，獲取當前歌曲的情感序列其中c為歌曲的序號；

第6步，如果s_dance的長度m小于的長度t，執行第7步，否則執行第9步；

第7步，計算s_dance和的距離d_E，需要按照如下方式計算子距離

...，

則

第8步，如果d_E＞t_H，則跳過這首歌曲，執行第3步；否則，記錄歌曲的序號c，替換掉d_N中的最大值，執行第3步；

第9步，計算s_dance和的距離d_E，需要按照如下方式計算子距離

...，

則

第10步，如果d_E＞t_H，則跳過這首歌曲，執行第3步；否則，記錄歌曲的序號c，替換掉d_N中的最大值，執行第3步；

第11步，返回d_N中對應的歌曲序號{c₁，c₂，...，c_N}；結束。