[發明專利]基于多尺度差異對抗的跨數據庫語音情感識別方法及裝置

在審

• 申請號: 202011376020.0
• 申請日: 2020-11-30
• 公開（公告）號: CN112489689A
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 鄭文明;鄭婉璐;宗源
• 申請（專利權）人: 東南大學
• 主分類號: G10L25/63
• 分類號: G10L25/63;G10L25/30;G06F16/65;G06F16/683;G06N3/04;G06N3/08
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 李雪萍

本發明公開了一種基于多尺度差異對抗的跨數據庫語音情感識別方法，方法包括：（1）獲取多個語音情感數據庫；（2）提取每一語音信號的全局IS10特征，提取全局特征；（3）將語音信號分成前后重疊50%的五段短片段并分別提取其IS10特征；（4）輸入雙向長短時間記憶模型，再輸入注意力機制模型，輸出作為局部特征；（5）將全局IS10特征和局部特征并聯，提取聯合特征；（6）建立神經網絡，包括對應于上述三種尺度的三個領域判別器，和情感分類器；（7）訓練神經網絡，網絡總損失為情感分類器損失減去三個領域判別器損失；（8）獲取待識別語音信號的三種尺度特征，輸入訓練好的神經網絡，得到預測的情感類別。本發明識別結果更準確。

技術領域

本發明涉及語音情感識別技術，尤其涉及一種基于多尺度差異對抗的跨數據庫語音情感識別方法及裝置。

背景技術

語音情感識別是情感計算領域中的一個熱門研究問題，應用前景廣闊。由于不同數據庫之間存在較大的特征分布差異，很大程度上影響了系統的表現。同時語音信號具有獨特的序列屬性，所以語音情感識別可以被看作是動態或者靜態的分類問題。現有的方法大多從兩個角度處理語音信號：幀尺度、整句話尺度。跨數據庫語音情感識別的難點在于提取合適的語音情感特征并縮小源域數據庫(訓練數據庫)數據以及目標域數據庫(測試數據庫)數據的特征分布差異。

發明內容

發明目的：本發明針對現有技術存在的問題，提供一種基于多尺度差異對抗的跨數據庫語音情感識別方法，本發明采用局部，全局和聯合尺度上進行領域對抗學習，減小源域數據庫數據以及目標域數據庫數據的特征分布差異，在此基礎之上進行分類，使得識別結果更準確。

技術方案：本發明所述的基于多尺度差異對抗的跨數據庫語音情感識別方法包括：

(1)獲取存儲有若干語音信號和對應情感類別標簽的語音情感數據庫，并劃分為源域數據庫和目標域數據庫；

(2)對于源域數據庫和目標域數據庫中的每個語音信號，提取IS10 low-level特征，然后利用卷積神經網絡做為全局特征提取器提取深度特征，作為全局特征X^g；特征提取器包括三層卷積層；

(3)對于源域數據庫和目標域數據庫的每個語音信號，將其按照時間順序分成前后重疊50％的若干短片段，并提取每個短片段的IS10特征；

(4)將每個語音信號的所有短片段的IS10特征輸入雙向長短時間記憶模型，隨后再輸入進注意力機制模型，輸出作為對應語音信號的局部特征；

(5)對于源域數據庫和目標域數據庫中的每個語音信號，將全局IS10特征和局部特征并聯，輸入另一個卷積神經網絡做為聯合特征提取器提取深度特征，作為聯合特征，特征提取器包括三層卷積層；

(6)建立神經網絡，所述神經網絡包括對應于上述三種尺度的三個領域判別器，和情感分類器，所述領域判別器包括兩層全連接層，輸出為預測的語音信號所屬領域類別，所述情感分類器包括兩層全連接層，輸出為預測的語音信號的情感類別；

(7)對所述神經網絡進行訓練，訓練時，將源域數據庫和目標域數據庫中每一語音信號的局部特征，全局特征和聯合特征分別混合起來作為三個樣本，輸入對應尺度的領域判別器，將源域數據庫中每一語音信號的聯合特征作為一個樣本，輸入情感分類器，網絡總損失為情感分類器損失減去三個領域判別器損失，通過反向傳播算法更新網絡參數，完成網絡訓練；

(8)獲取待識別語音信號的三種尺度特征，輸入訓練好的神經網絡，得到預測的情感類別。

進一步的，步驟(1)中，劃分源域數據庫和目標域數據庫的方法為：將一個語音情感數據庫語音信號和對應情感類別標簽作為目標域數據庫，另一個語音情感數據庫的語音信號和對應情感類別標簽作為源域數據庫。兩種數據庫可以是不同語言的。

進一步的，步驟(2)中所述全局特征提取器為：