[發(fā)明專利]一種基于物理波和循環(huán)網(wǎng)絡(luò)的語(yǔ)音情感識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110418944.0
• 申請(qǐng)日: 2021-04-19
• 公開（公告）號(hào): CN113284515B
• 公開（公告）日: 2023-05-02
• 發(fā)明（設(shè)計(jì)）人: 王春立;鄭純軍
• 申請(qǐng)（專利權(quán)）人: 大連海事大學(xué)
• 主分類號(hào): G10L25/63
• 分類號(hào): G10L25/63;G10L25/30;G10L25/03
• 代理公司: 大連東方專利代理有限責(zé)任公司 21212
• 代理人: 陳麗;李洪福

本發(fā)明公開了一種基于物理波和循環(huán)網(wǎng)絡(luò)的語(yǔ)音情感識(shí)別方法，包括：獲取待識(shí)別的語(yǔ)音段；對(duì)語(yǔ)音段進(jìn)行擴(kuò)展處理，得到延拓聲波場(chǎng)；從聲波的傳輸機(jī)制入手，根據(jù)波動(dòng)物理動(dòng)力學(xué)與情感表達(dá)的映射關(guān)系確定對(duì)音頻信號(hào)進(jìn)行特征提取的物理波模型，基于物理波模型對(duì)延拓聲波場(chǎng)進(jìn)行特征提取；利用訓(xùn)練好的循環(huán)網(wǎng)絡(luò)模型對(duì)提取出的特征進(jìn)行語(yǔ)音情感識(shí)別，得到語(yǔ)音段的語(yǔ)音情感；循環(huán)網(wǎng)絡(luò)模型采用3層雙向長(zhǎng)短期記憶模型；還包括注意力層；將注意力層的輸出注入全連接層和Softmax，輸出預(yù)測(cè)情感分類結(jié)果。本發(fā)明從環(huán)境聲音感知的角度，設(shè)計(jì)了基于物理波和長(zhǎng)短期記憶模型融合的語(yǔ)音情感識(shí)別深度學(xué)習(xí)模型，從而提出有效的語(yǔ)音情感識(shí)別方法。

技術(shù)領(lǐng)域

本發(fā)明涉及信息技術(shù)領(lǐng)域，特別是涉及一種基于物理波和循環(huán)網(wǎng)絡(luò)的語(yǔ)音情感識(shí)別方法。

背景技術(shù)

語(yǔ)音情感識(shí)別(Speech?Emotion?Recognition,SER)旨在通過語(yǔ)音信號(hào)識(shí)別說話者的正確情緒狀態(tài)，語(yǔ)音情感識(shí)別是計(jì)算機(jī)理解人類情感的關(guān)鍵之處，是實(shí)現(xiàn)人機(jī)交互的前提，它是人機(jī)交互中一個(gè)重要的組成部分。也是語(yǔ)音處理領(lǐng)域中一個(gè)具有挑戰(zhàn)性和廣泛應(yīng)用前景的研究課題，語(yǔ)音情感識(shí)別主要涉及到多媒體、信號(hào)處理、深度學(xué)習(xí)等領(lǐng)域。它對(duì)測(cè)試樣本的特征進(jìn)行提取，對(duì)高層特征進(jìn)行建模，從而實(shí)現(xiàn)高精度的情感識(shí)別。

現(xiàn)有的語(yǔ)音情感識(shí)別方法主要是從語(yǔ)音樣本中提取音頻的特征，按照經(jīng)驗(yàn)數(shù)據(jù)，設(shè)計(jì)深度學(xué)習(xí)相關(guān)模型，并計(jì)算語(yǔ)音情感識(shí)別的精度。如，申請(qǐng)?zhí)枮镃N201210551585的發(fā)明專利公開了一種基于壓縮感知的魯棒性語(yǔ)音情感識(shí)別方法,包含如下步驟:產(chǎn)生含噪聲的情感語(yǔ)音樣本,建立聲學(xué)特征提取模塊,構(gòu)建稀疏表示分類器模型,輸出語(yǔ)音情感識(shí)別結(jié)果。又如，申請(qǐng)?zhí)枮镃N111429947A的發(fā)明專利公開了一種基于多級(jí)殘差卷積神經(jīng)網(wǎng)絡(luò)的語(yǔ)音情感識(shí)別方法，通過跨越多級(jí)的殘差塊對(duì)卷積神經(jīng)網(wǎng)絡(luò)(CNN)進(jìn)行特征彌補(bǔ)，解決了對(duì)CNN隨著卷積層加深而出現(xiàn)的特征丟失的問題。

但是，這種提取特征的方法與情感表達(dá)類型、噪聲、音長(zhǎng)、說話者等因素均有關(guān)聯(lián)，單純的特征提取無法實(shí)現(xiàn)高精度的情感識(shí)別。此外，按照經(jīng)驗(yàn)設(shè)計(jì)的模型與算法的泛化能力有待提升。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提出一種基于物理波和循環(huán)網(wǎng)絡(luò)的語(yǔ)音情感識(shí)別方法，從環(huán)境聲音感知的角度，設(shè)計(jì)基于物理波和長(zhǎng)短期記憶(Long?Short-Term?Memory，LSTM)模型融合的語(yǔ)音情感識(shí)別深度學(xué)習(xí)模型，從而提出有效的語(yǔ)音情感識(shí)別方法，同時(shí)提升模型的泛化能力。

為此，本發(fā)明采用以下技術(shù)方案：

本發(fā)明提供了一種基于物理波和循環(huán)網(wǎng)絡(luò)的語(yǔ)音情感識(shí)別方法，所述方法包括：

獲取待識(shí)別的語(yǔ)音段；

對(duì)所述語(yǔ)音段進(jìn)行擴(kuò)展處理，得到延拓聲波場(chǎng)；

從聲波的傳輸機(jī)制入手，根據(jù)波動(dòng)物理動(dòng)力學(xué)與情感表達(dá)的映射關(guān)系確定對(duì)音頻信號(hào)進(jìn)行特征提取的物理波模型，基于所述物理波模型對(duì)所述延拓聲波場(chǎng)進(jìn)行特征提?。?/p>

利用訓(xùn)練好的循環(huán)網(wǎng)絡(luò)模型對(duì)提取出的特征進(jìn)行語(yǔ)音情感識(shí)別，得到所述語(yǔ)音段的語(yǔ)音情感；所述循環(huán)網(wǎng)絡(luò)模型采用3層雙向長(zhǎng)短期記憶模型，每層長(zhǎng)短期記憶模型的隱藏節(jié)點(diǎn)具有256個(gè)單元；在長(zhǎng)短期記憶模型的第3層后，還包括注意力層；將注意力層的輸出注入全連接層和Softmax，輸出預(yù)測(cè)情感分類結(jié)果。

進(jìn)一步地，對(duì)所述語(yǔ)音段進(jìn)行擴(kuò)展處理，包括：

利用固定步長(zhǎng)深度遞推聲波延拓方法對(duì)所述語(yǔ)音段進(jìn)行擴(kuò)展處理。

進(jìn)一步地，所述固定步長(zhǎng)深度遞推聲波延拓方法包括：

確定延拓標(biāo)準(zhǔn)，所述延拓標(biāo)準(zhǔn)下生成的語(yǔ)音信號(hào)能夠表達(dá)完整的情感；

識(shí)別所述語(yǔ)音段中固定步長(zhǎng)下的最佳連續(xù)語(yǔ)音幀區(qū)間，所述最佳連續(xù)語(yǔ)音幀區(qū)間為所述語(yǔ)音段的所有區(qū)間中深度累計(jì)最大的區(qū)間；