[發明專利]一種基于中文語音OpenSmile和雙向LSTM的端到端情緒識別方法

在審

• 申請號: 202011528598.3
• 申請日: 2020-12-22
• 公開（公告）號: CN112634873A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 吳強;季曉楓;施恩銘;馬俊;郭翔
• 申請（專利權）人: 上海幻維數碼創意科技股份有限公司
• 主分類號: G10L15/02
• 分類號: G10L15/02;G10L15/06;G10L15/183;G10L15/26;G10L25/24;G10L25/63
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 趙志遠

1.一種基于中文語音OpenSmile和雙向LSTM的端到端情緒識別方法，其特征在于，所述的情緒識別方法包括：

步驟1：獲取待識別的中文語音音頻，并對音頻數據進行預處理；

步驟2：使用OpenSmile分別提取訓練集和測試集語音音頻的MFCC音頻特征；

步驟3：使用訓練集對雙向LSTM網絡進行訓練；

步驟4：使用測試集對完成訓練的雙向LSTM網絡進行測試，計算測試準確率，判斷測試準確率是否大于預設閾值，若是，則執行步驟5，否則，返回步驟3；

步驟5：使用達到預設準確率閾值的雙向LSTM網絡對中文語音音頻進行情緒識別。

2.根據權利要求1所述的一種基于中文語音OpenSmile和雙向LSTM的端到端情緒識別方法，其特征在于，所述的步驟1具體為：

獲取待識別的中文語音音頻集合，將音頻按照對應的情感進行分類，并添加對應的數字標簽，然后將其分為訓練集和測試集。

3.根據權利要求1所述的一種基于中文語音OpenSmile和雙向LSTM的端到端情緒識別方法，其特征在于，所述的步驟2具體為：

使用OpenSmile的ComParE特征集提取語音音頻的MFCC音頻特征，共提取出6373個音頻特征，構建音頻特征集合。

4.根據權利要求1所述的一種基于中文語音OpenSmile和雙向LSTM的端到端情緒識別方法，其特征在于，所述的雙向LSTM網絡的最后一層結構為Softmax全連接層，用于獲取分類概率，然后將概率最高的類別作為最終輸出的情緒類別。

5.根據權利要求4所述的一種基于中文語音OpenSmile和雙向LSTM的端到端情緒識別方法，其特征在于，所述的Softmax函數具體為：

其中，z_i為雙向LSTM網絡第i個節點的輸出值；C為輸出節點的個數，即情感分類類別的個數。

6.根據權利要求5所述的一種基于中文語音OpenSmile和雙向LSTM的端到端情緒識別方法，其特征在于，所述的情感分類類別包括：憤怒情感、恐懼情感、厭惡情感、驚訝情感、快樂情感、悲傷情感和中性情感。

7.根據權利要求1所述的一種基于中文語音OpenSmile和雙向LSTM的端到端情緒識別方法，其特征在于，所述的雙向LSTM網絡結構的抓包率設置為0.2％。

8.根據權利要求1所述的一種基于中文語音OpenSmile和雙向LSTM的端到端情緒識別方法，其特征在于，所述的步驟5具體為：

將待識別中文語音音頻經過OpenSmile獲取特征信息后直接輸入訓練好的雙向LSTM網絡，獲得中文語音音頻對應的情緒，完成識別。

9.根據權利要求1所述的一種基于中文語音OpenSmile和雙向LSTM的端到端情緒識別方法，其特征在于，所述的雙向LSTM網絡的損失函數具體為：

其中，Y為真實標簽合集，Pr為分類器預測得到的概率分布，N為樣本總數，K為多元分類的K個類別，y為真實值，p為預測值。

10.根據權利要求1所述的一種基于中文語音OpenSmile和雙向LSTM的端到端情緒識別方法，其特征在于，所述雙向LSTM網絡中的Forward層和Backward層共同連接輸出層，設有六個共享權值w₁～w₆；

在Forward層從1時刻到t時刻正向計算依次，得到并保存每個時刻向前隱含層的輸出；在Backward層沿著時刻t到時刻1反向計算一遍，得到并保存每個時刻向后隱含層的輸出；最后在每個時刻結合Forward層和Backward層的相應時刻輸出的結果得到最終的輸出，用數學表達式如下：

h_t＝f(w₁x_t+w₂h_t-1)

h_t'＝f(w₃x_t+w₅h'_t+1)

o_t＝g(w₄h_t+w₆h'_t)

其中，h_t為隱含層的輸出，h'_t為Forward層的輸出，o_t為Backward層的輸出，x_t為輸入。