[發明專利]語音情感分析方法和裝置

有效

• 申請號: 202011625649.4
• 申請日: 2020-12-31
• 公開（公告）號: CN112735477B
• 公開（公告）日: 2023-03-17
• 發明（設計）人: 王治博;關慶陽;王智勇;毛書貴;宋勝尊;李永春;童心
• 申請（專利權）人: 沈陽康慧類腦智能協同創新中心有限公司
• 主分類號: G10L25/63
• 分類號: G10L25/63;G10L25/24;G10L25/30;G10L15/02;G10L15/16;G10L15/06
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 劉力夫;王兆賡

1.一種語音情感分析方法，其中，所述方法包括：

基于重采樣的數字語音信號獲取語音信號的頻率幅值譜；

基于所述頻率幅值譜獲取語音信號的多重語音特征；以及

將多重語音特征融合處理并通過時序記憶網絡處理和時空注意力網絡處理來實現語音情感分析，

其中，所述時空注意力網絡處理基于所述時序記憶網絡處理輸出的序列數據來提取時序方向的時序關聯系數，針對時序方向根據得到的時序關聯系數對所述序列數據進行加權產生更新的序列數據，并且基于所述更新的序列數據來提取并行方向上的并行關聯系數，針對并行方向根據得到的并行關聯系數對所述更新的序列數據進行加權產生用于語音情感分類的特征數據。

2.根據權利要求1所述的方法，其中，所述多重語音特征包括：頻譜中心特征、頻譜平坦度特征、梅爾頻率倒譜系數特征、短時傅里葉變換色譜圖特征、梅爾頻譜特征、語音信號頻率幅值譜對比度特征、均方根能量特征和短時語音信號平均過零率特征。

3.根據權利要求1所述的方法，其中，所述多重語音特征融合處理包括數據幅值的歸一化處理和并行數據的拼接處理。

4.根據權利要求1所述的方法，其中，所述時序記憶網絡處理輸出的序列數據由所述時序記憶網絡處理的時序記憶信息和融合的多重語音特征的當前時刻輸入序列數據共同決定，其中，所述時序記憶信息由融合的多重語音特征的上一時刻輸入序列數據和上一時刻的時序記憶信息通過記憶更新單元得到。

5.一種語音情感分析裝置，其中，所述裝置包括：

采樣模塊，接收語音信息的輸入并基于預定采樣率進行重采樣，獲得語音信號的頻率幅值譜；

特征提取模塊，基于所述頻率幅值譜獲取語音信號的多重語音特征；以及

情感分析模塊，將多重語音特征融合處理并通過時序記憶網絡處理和時空注意力網絡處理來實現語音情感分析，

其中，情感分析模塊的所述時空注意力網絡處理基于所述時序記憶網絡處理輸出的序列數據來提取時序方向的時序關聯系數，針對時序方向根據得到的時序關聯系數對所述序列數據進行加權產生更新的序列數據，并且基于所述更新的序列數據來提取并行方向上的并行關聯系數，針對并行方向根據得到的并行關聯系數對所述更新的序列數據進行加權產生用于語音情感分類的特征數據。

6.根據權利要求5所述的裝置，其中，情感分析模塊的所述時序記憶網絡處理輸出的序列數據由所述時序記憶網絡處理的時序記憶信息和融合的多重語音特征的當前時刻輸入序列數據共同決定，其中，所述時序記憶信息由融合的多重語音特征的上一時刻輸入序列數據和上一時刻的時序記憶信息通過記憶更新單元得到。

7.一種存儲有計算機程序的計算機可讀存儲介質，其特征在于，當所述計算機程序在被處理器執行時實現如權利要求1至4中任意一項所述的語音情感分析方法。

8.一種計算機設備，其特征在于，所述計算機設備包括：

處理器；

存儲器，存儲有計算機程序，當所述計算機程序被處理器執行時，實現如權利要求1至4中任意一項所述的語音情感分析方法。