[發明專利]基于卷積神經網絡的多模態語音情感識別系統及方法

在審

• 申請號: 202010122988.4
• 申請日: 2020-02-27
• 公開（公告）號: CN111326178A
• 公開（公告）日: 2020-06-23
• 發明（設計）人: 葉吉祥;王東杰
• 申請（專利權）人: 長沙理工大學
• 主分類號: G10L25/63
• 分類號: G10L25/63;G10L25/45;G10L25/18;G10L15/18
• 代理公司: 深圳市舜立知識產權代理事務所(普通合伙) 44335
• 代理人: 侯藝

本發明公開了一種基于卷積神經網絡的多模態語音情感識別系統及方法，包括語音提取模塊、分幀處理模塊、頻域信號處理模塊、語譜圖處理模塊、卷積神經網絡處理模塊、特征提取模塊和語音情感分類模塊；該方法包括：1、對語音文件進行語音信號提取；2、語音信號進行分幀處理；3、將語音信號轉換為頻域信號；4、將頻域信號通過語譜圖進行處理；5、將語譜圖處理后的語音信號通過卷積神經網絡進行處理；6、將語音信號進行語音特征提取；7、對語音信號進行情感識別和分析。本發明在于提供一種智能化程度強，通過語音信息能夠準確識別情感信息的一種基于卷積神經網絡的多模態語音情感識別系統及方法。

技術領域

本發明涉及語音識別分析技術領域，尤其涉及一種基于卷積神經網絡的多模態語音情感識別系統及方法。

背景技術

語音情感識別系統一般由以下三部分構成：語音信號采集、情感特征提取和情感識別。一般來說，語音信號采集部分主要通過語音傳感器(例如，手機麥克風等語音錄制設備)獲得最原始的語音信號，為了獲取高質量，穩定的語音信號，通常需要進行語音預處理的工作，為后續的情感識別做好優質的數據預處理鋪墊。

語音信號的預處理往往包含有預濾波、采樣量化、預加重、分幀加窗以及短點檢測等前期工作。然后，將處理得到的語音信號傳遞到情感特征提取模塊對語音信號中與說話人情感關聯緊密的聲學特征進行提取，最后，將提取得到的聲學特征等傳入情感識別模塊完成情感的判別。

語音情感識別是一項具有挑戰性的任務，傳統的分類模型廣泛依賴于音頻特征來構建性能良好的分類器，模型中第一步通常從原始的聲音波形中提取可用于模型訓練的語音特征，進而建立合適的語音情感識別模型，從已經提取得到的音頻特征中獲取能夠區分不同情感類別的信息，最后通過選擇合適的分類器，來獲取測試數據集上的情感預測。但人類的情感往往是多模態的，包括視覺、語音及文本三個模態，每個模態要有很多的信息，譬如文本模態中包含基本的語言符合、句法和語言動作等，語音模態包含語音、語調以及聲音表達等，例如同樣一段音頻，“你可真帥呀？”但是目前的語音情感識別系統及方法識別人發出語音信號得出的情感分析不夠準確，情感分析比較粗糙，不能把語音信號表達的情感完全分析展示出來，因此，還需要進一步改進。

中國專利申請號為：201710172622.6，申請日是:2017年03月21日，公開日是：2017年06月23日，專利名稱為：基于卷積神經網絡的聲學特征提取方法、裝置和終端設備，該發明公開了一種基于卷積神經網絡的聲學特征提取方法、裝置和終端設備，該基于卷積神經網絡的聲學特征提取方法，包括：將待識別的語音排列成預定緯數的語譜圖；通過卷積神經網絡對所述預定緯數的語譜圖進行識別，獲得所述待識別的語音中的聲學特征。本申請可以實現通過卷積神經網絡提取語音中的聲學特征，可以更好地表征語音中的聲學特性，提高語音識別的準確率。

上述專利文獻公開了基于卷積神經網絡的聲學特征提取方法、裝置和終端設備，但是該發明對語音信號的情感分析判斷不準確，不能利用人發出的語音信息判斷情感，不能滿足目前社會發展的需要。

發明內容

有鑒于此，本發明在于提供一種智能化程度強，通過語音信息能夠準確識別情感信息的一種基于卷積神經網絡的多模態語音情感識別系統及方法。

為了實現本發明第一個目的，可以采取以下技術方案：

一種基于卷積神經網絡的多模態語音情感識別系統，包括語音提取模塊、分幀處理模塊、頻域信號處理模塊、語譜圖處理模塊、卷積神經網絡處理模塊、特征提取模塊和語音情感分類模塊；所述語音提取模塊用于對語音文件進行提取，所述分幀處理模塊，用于對語音文件進行分幀窗處理，所述頻域信號處理，用于將語音時域信號轉化為頻域信號；所述語譜圖處理模塊，用于檢測語音信號頻率變化；所述卷積神經網絡處理模塊，用于提取語音信號高層頻率特征；所述特征提取模塊，用于對語音信號韻律特征進行提取；所述語音情感分類模塊，用于通過語音信號韻律特征對語音信號進行情感識別和分類；