[發明專利]基于卷積神經網絡的多模態語音情感識別系統及方法

在審

• 申請號: 202010122988.4
• 申請日: 2020-02-27
• 公開（公告）號: CN111326178A
• 公開（公告）日: 2020-06-23
• 發明（設計）人: 葉吉祥;王東杰
• 申請（專利權）人: 長沙理工大學
• 主分類號: G10L25/63
• 分類號: G10L25/63;G10L25/45;G10L25/18;G10L15/18
• 代理公司: 深圳市舜立知識產權代理事務所(普通合伙) 44335
• 代理人: 侯藝

1.一種基于卷積神經網絡的多模態語音情感識別系統，其特征在于：包括語音提取模塊、分幀處理模塊、頻域信號處理模塊、語譜圖處理模塊、卷積神經網絡處理模塊、特征提取模塊和語音情感分類模塊；所述語音提取模塊用于對語音文件進行提取，所述分幀處理模塊，用于對語音文件進行分幀窗處理，所述頻域信號處理，用于將語音時域信號轉化為頻域信號；所述語譜圖處理模塊，用于檢測語音信號頻率變化；所述卷積神經網絡處理模塊，用于提取語音信號高層頻率特征；所述特征提取模塊，用于對語音信號韻律特征進行提取；所述語音情感分類模塊，用于通過語音信號韻律特征對語音信號進行情感識別和分類；

所述語音提取模塊提取語音文件后通過分幀處理模塊將語音信號輸入至該頻域處理模塊，該頻域處理模塊將語音信號轉化為頻域信號后通過語譜圖處理模塊將語音信號輸入至卷積神經網絡處理模塊，該卷積神經網絡處理模塊提取語音信號高層頻率特征后通過特征提取模塊將語音信號輸入至該語音情感分類模塊進行語音情感識別。

2.根據權利要求1所述基于卷積神經網絡的多模態語音情感識別系統，其特征在于：所述語音文件包括文件格式是后綴為.wav的語音文件。

3.根據權利要求1所述基于卷積神經網絡的多模態語音情感識別系統，其特征在于：所述分幀處理模塊包括漢明窗分幀處理模塊。

4.根據權利要求3所述基于卷積神經網絡的多模態語音情感識別系統，其特征在于：所述漢明窗分幀處理模塊通過公式

獲取結果；其中，N表示幀長，w(n)為數字語音信號處理中漢明窗的表達式，n表示當前幀的位置。

5.根據權利要求1所述基于卷積神經網絡的多模態語音情感識別系統，其特征在于：所述語音時域信號轉化為頻域信號是通過傅里葉變換公式轉換的，該傅里葉轉換公式為：

其中，X_n(e^jw)是x(m)的離散時域傅里葉變換X(e^jw)和w(m)的離散時域傅里葉變換W(e^jw)的周期卷積，窗函數w(n-m)表示滑動的窗口，它隨n的變化而沿著序列x(m)滑動；

e^-jwm代表一組正交基，根據歐拉公式cosθ+isinθ＝e^iθ轉換得到，w為角頻率；m為當前幀的位置。

6.一種基于卷積神經網絡的多模態語音情感識別方法，其特征在于：包括如下步驟：

1)、對語音文件進行語音信號提取；

2)、語音信號進行分幀處理；

3)、將語音信號轉換為頻域信號；

4)、將頻域信號通過語譜圖進行處理；

5)、將語譜圖處理后的語音信號通過卷積神經網絡進行處理；

6)、將語音信號進行語音特征提取；

7)、對語音信號進行情感識別和分析。

7.根據權利要求6所述基于卷積神經網絡的多模態語音情感識別方法，其特征在于：所述語音文件包括文件格式是后綴為.wav的語音文件。

8.根據權利要求6所述基于卷積神經網絡的多模態語音情感識別方法，其特征在于：所述分幀處理模塊包括漢明窗分幀處理模塊。

9.根據權利要求8所述基于卷積神經網絡的多模態語音情感識別方法，其特征在于：所述漢明窗分幀處理模塊通過公式

獲取結果；其中，N表示幀長，w(n)為數字語音信號處理中漢明窗的表達式，n表示當前幀的位置。

10.根據權利要求6所述基于卷積神經網絡的多模態語音情感識別方法，其特征在于：所述語音信號轉換為頻域信號是通過傅里葉變換公式轉換的，該傅里葉轉換公式為：

其中，X_n(e^jw)是x(m)的離散時域傅里葉變換X(e^jw)和w(m)的離散時域傅里葉變換W(e^jw)的周期卷積，窗函數w(n-m)表示滑動的窗口，它隨n的變化而沿著序列x(m)滑動；

e^-jwm代表一組正交基，根據歐拉公式cosθ+isinθ＝e^iθ轉換得到，w為角頻率；m為當前幀的位置。