[發明專利]基于互補特征學習框架的語音情感識別方法及裝置

在審

• 申請號: 202110850400.1
• 申請日: 2021-07-27
• 公開（公告）號: CN113593537A
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 唐小煜;程慧慧;鄭夢云;廖潤濱
• 申請（專利權）人: 華南師范大學
• 主分類號: G10L15/16
• 分類號: G10L15/16;G10L25/63
• 代理公司: 廣州駿思知識產權代理有限公司 44425
• 代理人: 葉瓊園

1.一種基于互補特征學習框架的語音情感識別方法，其特征在于，包括以下步驟：

構建互補特征學習框架，所述框架包括相互并行的第一獨立特征學習通道、第二獨立特征學習通道和融合特征學習通道，所述框架還包括注意力融合模塊；

獲取待識別語音的MFCC系數和手工制作特征；

將所述MFCC系數輸入所述第一獨立特征學習通道進行特征提取，得到特征F1；

將所述手工制作特征輸入所述第二獨立特征學習通道進行特征提取，得到特征F2；

將所述MFCC系數和所述手工制作特征同時輸入所述融合特征學習通道進行特征提取，得到特征F3；

將所述特征F1、所述特征F2和所述特征F3輸入所述注意力融合模塊進行特征提取和細化，得到分類特征；

對所述分類特征進行分類，得到最終的情感識別與分類結果。

2.根據權利要求1所述的一種基于互補特征學習框架的語音情感識別方法，其特征在于，將所述MFCC系數輸入所述第一獨立特征學習通道進行特征提取，得到特征F1，包括：

將所述MFCC系數輸入兩層二維卷積層中進行特征提取，得到MFCC特征圖，其中，每個卷積層后連接一個歸一化層；

將所述MFCC特征圖進行展平處理后，使用全連接層進行特征提取，使用softmax層輸出，得到特征F1。

3.根據權利要求1所述的一種基于互補特征學習框架的語音情感識別方法，其特征在于，將所述手工制作特征輸入第二獨立特征學習通道進行特征提取，得到特征F2，包括：

將所述手工制作特征輸入三層全連接層中進行特征提取，得到手工制作特征圖，其中，每個全連接層后面連接一個歸一化層；

將所述手工制作特征圖使用softmax輸出，得到特征F2。

4.根據權利要求1所述的一種基于互補特征學習框架的語音情感識別方法，其特征在于，將所述MFCC系數和所述手工制作特征同時輸入所述融合特征學習通道進行特征提取，得到特征F3，包括：

對所述手工制作特征進行零填充后進行一維卷積處理，對所述MFCC系數進行一維卷積處理，將所述經過一維卷積處理后的手工制作特征和MFCC特征進行拼接得到特征G(x)；

對所述特征G(x)沿信道軸進行兩層一維卷積，得到特征G1(x)；

將特征G(x)進行轉置，沿空間軸進行兩層一維卷積，得到特征G2(x)；

將所述特征G(x)、所述特征G1(x)和所述特征G2(x)進行拼接和展平處理；

使用全連接層對所述拼接和展平處理的結果進行特征提取，使用softmax層輸出，得到特征F3。

5.根據權利要求1所述的一種基于互補特征學習框架的語音情感識別方法，其特征在于，將所述特征F1、所述特征F2和所述特征F3輸入所述注意力融合模塊進行特征提取和細化，得到分類特征，包括：

將所述特征F1、所述特征F2和所述特征F3拼接后展平，并進行逐點卷積得到聚合特征F(x)；

計算所述聚合特征F(x)的注意融合權值W(x)，將所述聚合特征F(x)和所述注意融合權值W(x)相乘，得到分類特征。

6.根據權利要求5所述的一種基于互補特征學習框架的語音情感識別方法，其特征在于，所述計算所述聚合特征F(x)的注意融合權值W(x)，包括：

對所述聚合特征F(x)進行全局平均池化處理和歸一化處理，得到通道維度的描述子和符號維度描述子；

將所述通道維度描述子和所述符號維度描述子與F(x)相乘，進行全局平均池化處理，生成信道符號的注意融合權值；

重復前述步驟連續進行三次，得到最終的權值W(x)。

7.根據權利要求1所述的一種基于互補特征學習框架的語音情感識別方法，其特征在于，對所述分類特征進行分類，得到最終的情感識別與分類結果，包括：

使用SVM對所述分類特征進行分類，得到最終的情感識別與分類結果。