[發明專利]一種基于中文語音OpenSmile和雙向LSTM的端到端情緒識別方法

在審

• 申請號: 202011528598.3
• 申請日: 2020-12-22
• 公開（公告）號: CN112634873A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 吳強;季曉楓;施恩銘;馬俊;郭翔
• 申請（專利權）人: 上海幻維數碼創意科技股份有限公司
• 主分類號: G10L15/02
• 分類號: G10L15/02;G10L15/06;G10L15/183;G10L15/26;G10L25/24;G10L25/63
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 趙志遠

本發明涉及一種基于中文語音OpenSmile和雙向LSTM的端到端情緒識別方法，包括：步驟1：獲取待識別的中文語音音頻，并對音頻數據進行預處理；步驟2：使用OpenSmile分別提取訓練集和測試集語音音頻的MFCC音頻特征；步驟3：使用訓練集對雙向LSTM網絡進行訓練；步驟4：使用測試集對完成訓練的雙向LSTM網絡進行測試，計算測試準確率，判斷測試準確率是否大于預設閾值，若是，則執行步驟5，否則，返回步驟3；步驟5：使用達到預設準確率閾值的雙向LSTM網絡對中文語音音頻進行情緒識別。與現有技術相比，本發明具有識別精度高、支持多人以及長短句識別等優點。

技術領域

本發明涉及基于語音的情緒識別方法技術領域，尤其是涉及一種基于中文語音OpenSmile和雙向LSTM的端到端情緒識別方法。

背景技術

隨著人工智能技術的發展，計算機已經成為人類的親密伙伴。它可以幫助我們檢索知識、規劃城市、預測金融走勢、保障生產安全，甚至陪我們下棋、打電子游戲。對于如此親密的“生活伴侶”，我們自然希望計算機能知情識趣，而不是冷冰冰的機器。為了讓計算機擁有感情，研究者從圖象、文字、語音等各個方面展開了大量研究，到目前為止，至少在感知層次，機器已經能分清好賴話，看懂好賴臉了。

和說話人識別和語種識別相比，語音情緒識別更加困難。主要原因包括兩個方面。首先，“情緒”一詞的定義非常模糊，事實上直到今天，關于情緒是什么，心理學家們也沒有一個公認的定義。Plutchik估計，在二十世紀，研究者至少提出了90多種情緒的定義。事實上，一句話究竟是哪種情緒，不僅和說話人本身的心理狀態相關，還和他/她的生活習慣、表達方式相關，和聽眾的理解方式和生活背景也有密切關系。例如，對一個喜歡安靜的人來說，語調提高一些表示他/她已經很憤怒了，但對于喜歡吵鬧的人來說，提高音調本身就是常態。因此，情緒本身具有非常強的主觀性和不確定性。對這種本身就具有很大不確定性的語言現象，識別起來必然非常困難。事實上，研究表明人對情緒的識別率也僅有60％左右，讓機器來識別人都很難判斷的情緒，顯然更加困難。

現有技術中，中國專利CN109785863A公開了一種深度信念網絡的語音情感識別方法，該方法將所述語音信號特征采用支持向量機進行語音情感的識別分類，雖然可以實現對語音情感進行識別分類，但是該專利中的情感識別分類方法在處理與時間相關的特征序列時容易遺漏部分信息，同時支持向量機更偏向于二分類，因此情感分析的結果可能會產生誤差，導致識別精度不高。

發明內容

本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種識別精度高、支持多人以及長短句識別的基于中文語音OpenSmile和雙向LSTM的端到端情緒識別方法。

本發明的目的可以通過以下技術方案來實現：

一種基于中文語音OpenSmile和雙向LSTM的端到端情緒識別方法，包括：

步驟1：獲取待識別的中文語音音頻，并對音頻數據進行預處理；

步驟2：使用OpenSmile分別提取訓練集和測試集語音音頻的MFCC音頻特征；

步驟3：使用訓練集對雙向LSTM網絡進行訓練；

步驟4：使用測試集對完成訓練的雙向LSTM網絡進行測試，計算測試準確率，判斷測試準確率是否大于預設閾值，若是，則執行步驟5，否則，返回步驟3；

步驟5：使用達到預設準確率閾值的雙向LSTM網絡對中文語音音頻進行情緒識別。

優選地，所述的步驟1具體為：

獲取待識別的中文語音音頻集合，將音頻按照對應的情感進行分類，并添加對應的數字標簽，然后將其分為訓練集和測試集。

優選地，所述的步驟2具體為：