[發(fā)明專利]基于卷積神經(jīng)網(wǎng)絡(luò)的多模態(tài)語音情感識別系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 202010122988.4
• 申請日: 2020-02-27
• 公開（公告）號: CN111326178A
• 公開（公告）日: 2020-06-23
• 發(fā)明（設(shè)計(jì)）人: 葉吉祥;王東杰
• 申請（專利權(quán)）人: 長沙理工大學(xué)
• 主分類號: G10L25/63
• 分類號: G10L25/63;G10L25/45;G10L25/18;G10L15/18
• 代理公司: 深圳市舜立知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44335
• 代理人: 侯藝

1.一種基于卷積神經(jīng)網(wǎng)絡(luò)的多模態(tài)語音情感識別系統(tǒng)，其特征在于：包括語音提取模塊、分幀處理模塊、頻域信號處理模塊、語譜圖處理模塊、卷積神經(jīng)網(wǎng)絡(luò)處理模塊、特征提取模塊和語音情感分類模塊；所述語音提取模塊用于對語音文件進(jìn)行提取，所述分幀處理模塊，用于對語音文件進(jìn)行分幀窗處理，所述頻域信號處理，用于將語音時(shí)域信號轉(zhuǎn)化為頻域信號；所述語譜圖處理模塊，用于檢測語音信號頻率變化；所述卷積神經(jīng)網(wǎng)絡(luò)處理模塊，用于提取語音信號高層頻率特征；所述特征提取模塊，用于對語音信號韻律特征進(jìn)行提取；所述語音情感分類模塊，用于通過語音信號韻律特征對語音信號進(jìn)行情感識別和分類；

所述語音提取模塊提取語音文件后通過分幀處理模塊將語音信號輸入至該頻域處理模塊，該頻域處理模塊將語音信號轉(zhuǎn)化為頻域信號后通過語譜圖處理模塊將語音信號輸入至卷積神經(jīng)網(wǎng)絡(luò)處理模塊，該卷積神經(jīng)網(wǎng)絡(luò)處理模塊提取語音信號高層頻率特征后通過特征提取模塊將語音信號輸入至該語音情感分類模塊進(jìn)行語音情感識別。

2.根據(jù)權(quán)利要求1所述基于卷積神經(jīng)網(wǎng)絡(luò)的多模態(tài)語音情感識別系統(tǒng)，其特征在于：所述語音文件包括文件格式是后綴為.wav的語音文件。

3.根據(jù)權(quán)利要求1所述基于卷積神經(jīng)網(wǎng)絡(luò)的多模態(tài)語音情感識別系統(tǒng)，其特征在于：所述分幀處理模塊包括漢明窗分幀處理模塊。

4.根據(jù)權(quán)利要求3所述基于卷積神經(jīng)網(wǎng)絡(luò)的多模態(tài)語音情感識別系統(tǒng)，其特征在于：所述漢明窗分幀處理模塊通過公式

獲取結(jié)果；其中，N表示幀長，w(n)為數(shù)字語音信號處理中漢明窗的表達(dá)式，n表示當(dāng)前幀的位置。

5.根據(jù)權(quán)利要求1所述基于卷積神經(jīng)網(wǎng)絡(luò)的多模態(tài)語音情感識別系統(tǒng)，其特征在于：所述語音時(shí)域信號轉(zhuǎn)化為頻域信號是通過傅里葉變換公式轉(zhuǎn)換的，該傅里葉轉(zhuǎn)換公式為：

其中，X_n(e^jw)是x(m)的離散時(shí)域傅里葉變換X(e^jw)和w(m)的離散時(shí)域傅里葉變換W(e^jw)的周期卷積，窗函數(shù)w(n-m)表示滑動(dòng)的窗口，它隨n的變化而沿著序列x(m)滑動(dòng)；

e^-jwm代表一組正交基，根據(jù)歐拉公式cosθ+isinθ＝e^iθ轉(zhuǎn)換得到，w為角頻率；m為當(dāng)前幀的位置。

6.一種基于卷積神經(jīng)網(wǎng)絡(luò)的多模態(tài)語音情感識別方法，其特征在于：包括如下步驟：

1)、對語音文件進(jìn)行語音信號提取；

2)、語音信號進(jìn)行分幀處理；

3)、將語音信號轉(zhuǎn)換為頻域信號；

4)、將頻域信號通過語譜圖進(jìn)行處理；

5)、將語譜圖處理后的語音信號通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行處理；

6)、將語音信號進(jìn)行語音特征提取；

7)、對語音信號進(jìn)行情感識別和分析。

7.根據(jù)權(quán)利要求6所述基于卷積神經(jīng)網(wǎng)絡(luò)的多模態(tài)語音情感識別方法，其特征在于：所述語音文件包括文件格式是后綴為.wav的語音文件。

8.根據(jù)權(quán)利要求6所述基于卷積神經(jīng)網(wǎng)絡(luò)的多模態(tài)語音情感識別方法，其特征在于：所述分幀處理模塊包括漢明窗分幀處理模塊。

9.根據(jù)權(quán)利要求8所述基于卷積神經(jīng)網(wǎng)絡(luò)的多模態(tài)語音情感識別方法，其特征在于：所述漢明窗分幀處理模塊通過公式

獲取結(jié)果；其中，N表示幀長，w(n)為數(shù)字語音信號處理中漢明窗的表達(dá)式，n表示當(dāng)前幀的位置。

10.根據(jù)權(quán)利要求6所述基于卷積神經(jīng)網(wǎng)絡(luò)的多模態(tài)語音情感識別方法，其特征在于：所述語音信號轉(zhuǎn)換為頻域信號是通過傅里葉變換公式轉(zhuǎn)換的，該傅里葉轉(zhuǎn)換公式為：

其中，X_n(e^jw)是x(m)的離散時(shí)域傅里葉變換X(e^jw)和w(m)的離散時(shí)域傅里葉變換W(e^jw)的周期卷積，窗函數(shù)w(n-m)表示滑動(dòng)的窗口，它隨n的變化而沿著序列x(m)滑動(dòng)；

e^-jwm代表一組正交基，根據(jù)歐拉公式cosθ+isinθ＝e^iθ轉(zhuǎn)換得到，w為角頻率；m為當(dāng)前幀的位置。