[發明專利]在頻譜上對語音進行情緒識別的方法、系統及存儲介質

有效

• 申請號: 201811183893.2
• 申請日: 2018-10-11
• 公開（公告）號: CN109243491B
• 公開（公告）日: 2023-06-02
• 發明（設計）人: 劉博卿;賈雪麗;王健宗;肖京
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G10L25/63
• 分類號: G10L25/63;G10L25/18;G10L25/30;G10L25/45;G10L21/0208;G10L15/06;G10L15/20
• 代理公司: 北京鴻元知識產權代理有限公司 11327
• 代理人: 袁文婷;陳英俊

本發明涉及人工智能技術領域，提供一種在頻譜上對語音進行情緒識別的方法、系統及存儲介質，其中方法包括：對語音進行預處理；對預處理后的語音進行頻譜計算，獲取頻譜值；對頻譜值進行歸一化處理；采用深度網絡神經對經過歸一化處理的頻譜值進行情緒識別，獲取情緒識別結果。利用本發明，能夠解決目前對語音進行的情緒識別率低、延時以及對未知環境噪音的魯棒性差等問題。

技術領域

本發明涉及人工智能技術領域，更為具體地，涉及一種在頻譜上利用深度學習對語音進行情緒識別的方法、裝置、系統及存儲介質。

背景技術

情感計算的情緒識別是情感計算的一個重要組成部分，情緒識別研究的內容包括面部表情、語音、心率、行為、文本和生理信號識別等方面，通過以上內容來判斷用戶的情緒狀態。其中，對語音進行的情緒識別可以被應用到很多方面，比如：人機交互，可以通過電子老師讓電子學習變得更高效。

目前的一些困難與挑戰有：提高識別率，降低延遲，提高對未知環境噪音的魯棒性；其中，傳統語音情緒識別的方法包括：首先對短時間的語音進行特征提取，然后在語句層面對其進行信息提取，最后再進行分類或者回歸。近幾年的方法是采用深度學習來進行上面所述步驟。雖然基于梅爾的頻譜在語音識別上取得了很好的結果，但他去掉了一些音高的信息，但音高會反映情緒的信息，故采用基于梅爾的頻譜(Mel-Frequency?CepstralCoefficients，簡稱MFCC)在語音識別會丟失一些音高所反映的情緒信息。

因此，為了解決目前對語音進行的情緒識別率低、延時以及對未知環境噪音的魯棒性差等問題，本發明提供了一種在頻譜上對語音進行情緒識別的方法、裝置、系統及存儲介質。

發明內容

鑒于上述問題，本發明的目的是提供一種在頻譜上對語音進行情緒識別的方法、裝置、系統及存儲介質，采用代表語音諧波結構的線性頻譜，實現高精度的情緒識別系統，同時降低延時性，增強對環境噪音的魯棒性。

第一方面，本發明提供一種在頻譜上對語音進行情緒識別的方法，應用于電子裝置，包括：

對語音進行預處理；

對預處理后的語音進行頻譜計算，獲取頻譜值，其中，采用重疊的海寧窗口對每一個子句進行操作，其中，窗移10毫秒，窗口大小20毫秒，

對于每一音頻幀，計算一個維度為800、網格分辨率為20Hz的離散傅里葉變換值，其中，所述離散傅里葉變換值即為頻譜值，

將通過計算獲得每一個子句的頻譜值聚合在一起，形成一個N×M的矩陣，其中，根據語音句子的長度，N＝300，根據選定的頻率網格分辨率，M＝200；

對所述頻譜值進行歸一化處理；

采用深度網絡神經對經過歸一化處理的頻譜值進行情緒識別，獲取情緒識別結果。。

第二方面，本發明還提供一種電子裝置，該電子裝置包括：存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現如上述在頻譜上對語音進行情緒識別的方法的步驟。

第三方面，本發明還提供一種在頻譜上對語音進行情緒識別的系統，包括：

語音預處理單元，用于對語音進行預處理；

頻譜值獲取單元，用于對預處理后的語音進行頻譜計算，獲取頻譜值；其中，所述頻譜值獲取單元包括：

海寧窗口處理模塊，用于采用重疊的海寧窗口對每一個子句進行操作，其中，窗移10毫秒，窗口大小20毫秒；

子句頻譜值獲取模塊，用于對于每一幀，計算一個維度為800、網格分辨率為20Hz的離散傅里葉變換值，其中，所述離散傅里葉變換值即為頻譜值；