[發(fā)明專利]一種自適應(yīng)環(huán)境聲音情感識(shí)別方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202211095410.X
• 申請(qǐng)日: 2022-09-06
• 公開（公告）號(hào): CN116312640A
• 公開（公告）日: 2023-06-23
• 發(fā)明（設(shè)計(jì)）人: 孫彥杰;吳明光
• 申請(qǐng)（專利權(quán)）人: 南京師范大學(xué)
• 主分類號(hào): G10L25/63
• 分類號(hào): G10L25/63;G10L15/06;G10L15/18;G10L17/04;G10L25/45;G10L25/18
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 李淑靜

1.一種自適應(yīng)環(huán)境聲音情感識(shí)別方法，其特征在于，包括如下步驟：

(1)利用眾包音頻數(shù)據(jù)和移動(dòng)設(shè)備采集環(huán)境聲音并進(jìn)行標(biāo)注，構(gòu)建環(huán)境聲音樣本庫；

(2)對(duì)樣本庫中的聲音數(shù)據(jù)，通過音頻信號(hào)能量變化進(jìn)行聲音場景的自適應(yīng)分割，得到不同長度的場景聲音數(shù)據(jù)；

(3)對(duì)分割得到的不同長度的聲音數(shù)據(jù)，基于人耳的感知特性提取聲音感知特征；

(4)以聲音感知特征作為輸入，通過長短期記憶網(wǎng)絡(luò)的循環(huán)神經(jīng)網(wǎng)絡(luò)方法進(jìn)行環(huán)境聲音情感識(shí)別模型的訓(xùn)練；

(5)利用訓(xùn)練好的模型對(duì)實(shí)際采集的環(huán)境聲音數(shù)據(jù)進(jìn)行情感預(yù)測。

2.根據(jù)權(quán)利要求1所述的自適應(yīng)環(huán)境聲音情感識(shí)別方法，其特征在于，所述步驟(1)包括：通過數(shù)據(jù)爬蟲技術(shù)下載國內(nèi)外公開的環(huán)境聲音數(shù)據(jù)集；結(jié)合Wundt離散情緒模型，將收集到的聲音進(jìn)行情緒類型標(biāo)注，具體包含愉悅、煩悶、興奮、平靜、緊張和放松六種情緒；補(bǔ)充數(shù)據(jù)集中情緒類型樣本比例低于指定閾值的聲音樣本數(shù)量，使得各類型聲音樣本數(shù)量均衡。

3.根據(jù)權(quán)利要求1所述的自適應(yīng)環(huán)境聲音情感識(shí)別方法，其特征在于，所述步驟(2)包括：設(shè)置音頻分析窗口大小，逐窗口計(jì)算音頻數(shù)據(jù)的信號(hào)能量，當(dāng)指定窗口數(shù)的音頻信號(hào)能量都小于或者都大于預(yù)設(shè)的音頻能量閾值時(shí)，認(rèn)為信號(hào)能量狀態(tài)發(fā)生變化，設(shè)置聲音場景分割點(diǎn)，進(jìn)行聲音數(shù)據(jù)的自適應(yīng)分割，得到不同長度的環(huán)境聲音數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的自適應(yīng)環(huán)境聲音情感識(shí)別方法，其特征在于，所述步驟(2)包括：設(shè)置音頻分析窗口大小，逐窗口計(jì)算音頻數(shù)據(jù)的信號(hào)能量并計(jì)算音頻信號(hào)能量的二階梯度，檢索信號(hào)能量二階梯度的過零點(diǎn)，當(dāng)二階梯度為零時(shí)，即信號(hào)二階導(dǎo)數(shù)零交叉點(diǎn)，認(rèn)為信號(hào)能量狀態(tài)發(fā)生突變，將該點(diǎn)作為聲音數(shù)據(jù)的自適應(yīng)分割點(diǎn)。

5.根據(jù)權(quán)利要求3或4所述的自適應(yīng)環(huán)境聲音情感識(shí)別方法，其特征在于，音頻數(shù)據(jù)信號(hào)能量計(jì)算公式為：

式中，N為窗口內(nèi)音頻的幀數(shù)，a_i為第i幀的音頻強(qiáng)度值。

6.根據(jù)權(quán)利要求1所述的自適應(yīng)環(huán)境聲音情感識(shí)別方法，其特征在于，所述步驟(3)中，基于梅爾倒譜系數(shù)MFCC提取聲音感知特征，包括：將輸入的音頻信號(hào)進(jìn)行分幀，獲得穩(wěn)定的幀信號(hào)；通過快速傅里葉變換進(jìn)行音頻數(shù)據(jù)時(shí)域到頻域的轉(zhuǎn)換，得到聲音頻譜圖；對(duì)不同頻率的聲音能量進(jìn)行區(qū)域統(tǒng)計(jì)，定義一個(gè)有M個(gè)濾波器的三角形梅爾濾波器組，將梅爾濾波器組應(yīng)用于頻譜圖，并將每個(gè)濾波器中的能量結(jié)果相加；計(jì)算所有濾波器能量組的對(duì)數(shù)值；通過離散余弦變換消除彼此相關(guān)性并進(jìn)行降維，計(jì)算所有對(duì)數(shù)濾波器組能量值的離散余弦變換，得到26維的離散余弦變換結(jié)果；保留離散余弦變換結(jié)果的前20維結(jié)果作為聲音的MFCC特征向量。

7.根據(jù)權(quán)利要求1所述的自適應(yīng)環(huán)境聲音情感識(shí)別方法，其特征在于，所述步驟(4)中對(duì)模型的訓(xùn)練包括：記錄所有輸入的聲音感知特征的序列長度，將其中的最大序列的長度設(shè)置為長度閾值，對(duì)于小于該長度閾值的特征序列，在其后以零補(bǔ)充至長度閾值；然后依次經(jīng)過LSTM神經(jīng)單元、Dropout神經(jīng)層以及Softmax全連接層進(jìn)行模型訓(xùn)練，輸出訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)權(quán)重。

8.一種自適應(yīng)環(huán)境聲音情感識(shí)別裝置，其特征在于，包括：

環(huán)境聲音樣本庫構(gòu)建模塊，利用眾包音頻數(shù)據(jù)和移動(dòng)設(shè)備采集環(huán)境聲音并進(jìn)行標(biāo)注，構(gòu)建環(huán)境聲音樣本庫；

聲音數(shù)據(jù)自適應(yīng)分割模塊，對(duì)樣本庫中的聲音數(shù)據(jù)，通過音頻信號(hào)能量變化進(jìn)行聲音場景的自適應(yīng)分割，得到不同長度的場景聲音數(shù)據(jù)；

環(huán)境聲音特征提取模塊，對(duì)分割得到的不同長度的聲音數(shù)據(jù)，基于人耳的感知特性提取聲音感知特征；

模型訓(xùn)練模塊，以聲音感知特征作為輸入，通過長短期記憶網(wǎng)絡(luò)的循環(huán)神經(jīng)網(wǎng)絡(luò)方法進(jìn)行環(huán)境聲音情感識(shí)別模型的訓(xùn)練；

環(huán)境聲音情感識(shí)別模塊，利用訓(xùn)練好的模型對(duì)實(shí)際采集的環(huán)境聲音數(shù)據(jù)進(jìn)行情感預(yù)測。