[發明專利]語音情感分析方法和裝置

有效

• 申請號: 202011625649.4
• 申請日: 2020-12-31
• 公開（公告）號: CN112735477B
• 公開（公告）日: 2023-03-17
• 發明（設計）人: 王治博;關慶陽;王智勇;毛書貴;宋勝尊;李永春;童心
• 申請（專利權）人: 沈陽康慧類腦智能協同創新中心有限公司
• 主分類號: G10L25/63
• 分類號: G10L25/63;G10L25/24;G10L25/30;G10L15/02;G10L15/16;G10L15/06
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 劉力夫;王兆賡

本發明提供一種語音情感分析方法和裝置。所述方法包括：基于重采樣的數字語音信號獲取語音信號的頻率幅值譜；基于所述頻率幅值譜獲取語音信號的多重語音特征；以及將多重語音特征融合處理并通過時序記憶網絡處理和時空注意力網絡處理來實現語音情感分析。

技術領域

本發明涉及人工智能領域，具體地說，本發明涉及一種語音情感分析方法和裝置。

背景技術

語音已經是人們傳遞信息和表達感情的重要媒介，近年來，隨著語音識別和深度學習人工智能技術的發展，繼圖像信號之后，語音信號成為信息時代背景下用于思想溝通、感情交流和人機交互等的基本途徑和高效技術手段，例如，常用的語音通話設備和諸如智能音箱等智能人機交互工具。語音情感識別的研究對于增強計算機的智能化和人性化、開發新型人機環境以及推動心理學等學科的發展有著重要的現實意義，并將產生顯著的經濟和社會效益。

傳統的語音情感識別領域的研究在于分析語音的聲學統計特征，選用的數據集是語音條目較少且語義較簡單的情感語音數據庫，因此用于情感分析的聲學模型不具備普遍性。同時，因為統計特征常常使用類似線性判別分析法等方法，導致分析結果的準確率低。雖然提出了利用深度信念網絡來自動提取特征的方法，并且還采用過線性判別分類的方法、k最近鄰法和支持向量機等方法取得了60％-65％的識別準確率，但是結果仍不理想。

發明內容

提供本發明內容是為了以簡化的形式介紹所選擇的構思，并在下面的具體實施方式中進一步描述這些構思。本發明內容無意確定所要求保護的主題的關鍵特征或必要特征，也無意用于幫助確定所要求保護的主題的范圍。

本公開的一方面提供一種語音情感分析方法，所述方法包括：基于重采樣的數字語音信號獲取語音信號的頻率幅值譜；基于所述頻率幅值譜獲取語音信號的多重語音特征；以及將多重語音特征融合處理并通過時序記憶網絡處理和時空注意力網絡處理來實現語音情感分析。

所述多重語音特征可包括：頻譜中心特征、頻譜平坦度特征、梅爾頻率倒譜系數特征、短時傅里葉變換色譜圖特征、梅爾頻譜特征、語音信號頻率幅值譜對比度特征、均方根能量特征和短時語音信號平均過零率特征。

所述多重語音特征融合處理可包括數據幅值的歸一化處理和并行數據的拼接處理。

所述時序記憶網絡處理輸出的序列數據可由所述時序記憶網絡處理的時序記憶信息和融合的多重語音特征的當前時刻輸入序列數據共同決定，其中，所述時序記憶信息可由融合的多重語音特征的上一時刻輸入序列數據和上一時刻的時序記憶信息通過記憶更新單元得到。

所述時空注意力網絡處理基于所述時序記憶網絡處理輸出的序列數據來提取時序方向的時序關聯系數，針對時序方向根據得到的時序關聯系數對所述序列數據進行加權產生更新的序列數據，并且可基于所述更新的序列數據來提取并行方向上的并行關聯系數，針對并行方向根據得到的并行關聯系數對所述更新的序列數據進行加權產生用于語音情感分類的特征數據。

本公開的另一方面提供一種語音情感分析裝置，所述控制裝置包括：采樣模塊，接收語音信息的輸入并基于預定采樣率進行重采樣，獲得語音信號的頻率幅值譜；特征提取模塊，基于所述頻率幅值譜獲取語音信號的多重語音特征；以及情感分析模塊，將多重語音特征融合處理并通過時序記憶網絡處理和時空注意力網絡處理來實現語音情感分析。

情感分析模塊的所述時序記憶網絡處理輸出的序列數據可由所述時序記憶網絡處理的時序記憶信息和融合的多重語音特征的當前時刻輸入序列數據共同決定，其中，所述時序記憶信息可由融合的多重語音特征的上一時刻輸入序列數據和上一時刻的時序記憶信息通過記憶更新單元得到。