[發明專利]一種自適應環境聲音情感識別方法及裝置

在審

• 申請號: 202211095410.X
• 申請日: 2022-09-06
• 公開（公告）號: CN116312640A
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 孫彥杰;吳明光
• 申請（專利權）人: 南京師范大學
• 主分類號: G10L25/63
• 分類號: G10L25/63;G10L15/06;G10L15/18;G10L17/04;G10L25/45;G10L25/18
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 李淑靜

本發明公開了一種自適應環境聲音情感識別方法及裝置，所述方法包括：利用眾包音頻數據和移動設備采集環境聲音并進行標注，構建環境聲音樣本庫；對樣本庫中的聲音數據，通過音頻信號能量變化進行聲音場景的自適應分割，得到不同長度的場景聲音數據；對分割得到的不同長度的聲音數據，基于人耳的感知特性提取聲音感知特征；以聲音感知特征作為輸入，通過長短期記憶網絡的循環神經網絡方法進行環境聲音情感的訓練，利用訓練好的模型對實際采集的環境聲音數據進行情感預測。

技術領域

本發明涉及聲音數據處理領域，尤其涉及一種自適應環境聲音情感識別方法及裝置。

背景技術

聲音是人類感知環境的重要途徑，是人居環境重要組成部分，聲音景觀設計已經成為城市規劃、建筑學等相關研究的新興課題。聲音情感是人對環境聲音的主觀感受體現，是對聲音環境評價的重要指標。現階段環境聲音的類型識別已經有了廣泛的研究，提出了很多基于音頻信號處理和機器學習的環境聲音類型識別方法。與聲音類型的識別相比，環境聲音的情感識別的方法研究還較少。

現有的聲音情感識別方法多針對人類語音或者音樂，這些情感識別方法一般基于聲音信號處理或者機器學習。基于信號處理的方法通過捕捉聲音信號的變化規律進行情感類型的識別，比如信號過零率和信號分解特征。這些方法在某些場景下成功實現了情感識別，然而為了實現良好的精度需要設計復雜的信息提取算法。基于機器學習的方法不需要設計復雜的信息處理算法，諸如高斯混合模型(GMM)和支持向量機(SVM)等方法已經表現了不俗的識別精度。這些方法通過機器學習方法的思想，先構建特定主題和情感類型的聲音樣本庫，然后提取不同視角的聲音特征，最后通過機器學習的訓練機制進行自動化分類。已經有不少面向不同國家語言和不同類型音樂的聲音情感數據集、聲音特征提取方法以及和聲音情感識別方法。以全球最大的機器學習數據開放平臺Kaggle上的公開語音和音樂情感樣本庫RAVDESS(Ryerson?Audio-Visual?Database?of?Emotional?Speech?and?Song)為例，其聲音數據樣本為人聲，且多為3-4秒的短時聲音樣本。然而不同于人類語音和音樂，環境聲音的組成更為復雜，包含交通、自然、機械等不同聲源類型，且也更具有變化性，會隨著發聲對象的改變和移動在短時間發生變化。因此針對環境聲音情感識別的方法還有待研究。

發明內容

發明目的：本發明的目的在于自適應的識別變長環境聲音數據的動態情感，提供一種基于神經網絡的環境聲音情感識別方法及裝置，實現對任意變長環境聲音數據自適應的動態情感識別。

技術方案：根據本發明的第一方面，一種自適應環境聲音情感識別方法，包括以下步驟：

(1)利用眾包音頻數據和移動設備采集環境聲音并進行標注，構建環境聲音樣本庫；

(2)對樣本庫中的聲音數據，通過音頻信號能量變化進行聲音場景的自適應分割，得到不同長度的場景聲音數據；

(3)對分割得到的不同長度的聲音數據，基于人耳的感知特性提取聲音感知特征；

(4)以聲音感知特征作為輸入，通過長短期記憶網絡的循環神經網絡方法進行環境聲音情感識別模型的訓練；

(5)利用訓練好的模型對實際采集的環境聲音數據進行情感預測。

進一步地，所述步驟(1)包括：通過數據爬蟲技術下載國內外公開的環境聲音數據集；結合Wundt離散情緒模型，將收集到的聲音進行情緒類型標注，具體包含愉悅、煩悶、興奮、平靜、緊張和放松六種情緒；補充數據集中情緒類型樣本比例低于指定閾值的聲音樣本數量，使得各類型聲音樣本數量均衡。

在一個實施方式中，所述步驟(2)包括：設置音頻分析窗口大小，逐窗口計算音頻數據的信號能量，當指定窗口數的音頻信號能量都小于或者都大于預設的音頻能量閾值時，認為信號能量狀態發生變化，設置聲音場景分割點，進行聲音數據的自適應分割，得到不同長度的環境聲音數據。