[發明專利]一種基于模塊化的加權融合神經網絡的音樂情感識別方法

有效

• 申請號: 202110398229.5
• 申請日: 2021-04-14
• 公開（公告）號: CN113268628B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 朱永華;張美賢;朱蘊文
• 申請（專利權）人: 上海大學
• 主分類號: G06F16/61
• 分類號: G06F16/61;G06N3/0464;G06N3/047;G06N3/084
• 代理公司: 上海上大專利事務所(普通合伙) 31205
• 代理人: 何文欣

本發明屬于音樂內容分析領域，提出一種基于模塊化的加權融合神經網絡的音樂情感識別方法，利用改進的多通道結構實現更具全局性的頻譜圖細節處理，利用上下文信息加權實現深度時序關系處理，提升音樂情感數值預測的識別精度和穩定性。根據相關文獻中情感描述規則，完成數據庫音樂片段長度和數值的規范化；切分原始音頻并提取對應頻譜圖，采用數據增強技術實現融合規則數據庫的構建；通過調整深度神經網絡感受野實現更具全局性的信息處理，提取顯著性特征；利用長短時記憶模塊處理時序信息，采用注意力機制提取深度關系；采用具有雙重特性的損失函數，利用反向傳播完成模型的優化和訓練；最后，利用訓練好的模型進行音樂情感數值預測。

技術領域

本發明涉及音樂內容分析領域，尤其涉及一種基于模塊化的加權融合神經網絡的音樂情感識別方法。

背景技術

隨著互聯網技術和數字媒體技術的發展，互聯網上的數據量日益增長，數據驅動的分析技術對人們的生活越來越重要。消費級的電子樂器和音頻處理設備等使得音樂創作門檻逐漸降低，因此數字音樂數據量更是呈現了顯著的增長趨勢。為了更好地存儲和利用音樂這種數據形式，對其進行內容分析能夠更好地實現信息的管理和檢索。基于數據的人工智能研究旨在構建更加和諧的交互環境，情感計算是人機交互研究中的重要課題，使得人們能夠感受到更加智能化和人性化的交互體驗。音樂能夠傳達和引導人的情感表達，情感是其最主要特性之一，因此，針對音樂信息進行情感分析研究在信息交互和融合中起著至關重要的作用，也成為了近年來的研究熱點。音樂情感分析的研究不僅能為情感驅動的音樂信息管理和檢索做貢獻，還能作為眾多智能化技術和手段的輔助工具，如：基于音樂情感的交互燈光設計、基于音樂情感的交互姿勢設計、基于音樂情感的圖像或視頻配樂、基于音樂情感的生理或心理疾病治療以及基于情感的音樂自動生成等。

音樂情感分析中，分類的方法存在情感劃分細粒度問題，不能充分地表達隨時間變化的音樂情感豐富性。現有的連續數值預測方法主要是對原始音樂信息進行處理：部分方法僅對循環神經網絡進行改進，針對音樂特性進行內容分析，該類方法仍需進行音樂手工特征的提取，面臨特征提取和選擇的難點以及人工操作的不確定性；部分方法采用簡單的卷積神經網絡提取音樂頻譜圖的淺層特征，進一步采用循環神經網絡進行時序信息處理，該類研究方法未考慮音樂的高層語義特征以及時間序列的深度關系。

發明內容

針對上述音樂情感數值預測方法技術上存在的不足，本發明提出一種基于模塊化的加權融合神經網絡的音樂情感識別方法，該方法使用改進后的深層卷積神經網絡從原始音樂頻譜圖中提取顯著性特征，進一步采用加權的循環神經網絡學習時域和頻域的深層關系，將兩個模塊化的結構進行融合以實現語義特征級別的音樂情感識別，該方法能夠有效提升音樂情感數值預測結果的準確性和穩定性。

為達到上述目的，本發明采用如下技術方案：

本發明提出的基于模塊化的加權融合神經網絡的音樂情感識別方法，包括以下步驟：

步驟1：收集相關音樂情感數據庫，按照音樂情感數據庫人工提取學習音樂情感數值表達知識，根據音樂片段情感和不同維度數值之間的對應關系，規范情感數值范圍，將情感數值和時間維度進行映射，提取相關內容并規范成統一的音樂情感數值表示數據庫；

步驟2：對數據庫中的原始音頻進行處理，提取音樂文件對應頻譜圖，并采用數據增強技術對頻譜圖進行預處理，根據原始頻譜圖和標記數值生成新的頻譜圖-數值對，增強情感分析數據量并強化知識映射，構建規范化融合音樂情感數據庫；

步驟3：對深度卷積網絡進行改進處理，通過控制網絡卷積核以及池化層實現網絡感受野的控制，從而提取頻譜圖全局性的信息，對網絡每個輸出分支進行規范化，從整體上把控輸出特征矩陣數值范圍，實現具代表性的顯著特征提取；

步驟4：根據音樂情感數據庫中的數值和時間對應關系，采用基于注意力機制的循環神經網絡模塊按照時間順序對提取到的顯著性特征矩陣進行處理，學習時域和頻域的深層關系，通過對信息進行過濾篩選，實現具有內容針對性的音樂情感數值預測；