[發明專利]語音數據情感檢測方法、裝置、電子設備和存儲介質

有效

• 申請號: 202110791641.3
• 申請日: 2021-07-13
• 公開（公告）號: CN113689886B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 李建強;張碩;付光暉
• 申請（專利權）人: 北京工業大學
• 主分類號: G10L25/63
• 分類號: G10L25/63
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 聶俊偉

1.一種語音數據情感檢測方法，其特征在于，包括：

確定待檢測的語音數據，所述語音數據包括至少一個完整語句；

將所述語音數據輸入至情感檢測模型，得到所述情感檢測模型輸出的情感檢測結果；

其中，所述情感檢測模型是基于包含至少一個完整語句的樣本語音數據及其對應的樣本情感檢測結果訓練得到的；所述情感檢測模型用于在提取所述語音數據的語音特征后，將所述語音特征劃分為多個候選感情區域特征，并基于非極大抑制從多個候選感情區域特征中確定目標感情區域特征，以及對各目標感情區域特征進行情感分類，得到所述情感檢測結果；各候選感情區域特征對應的語音數據為一個或多個完整語句；

所述將所述語音數據輸入至情感檢測模型，得到所述情感檢測模型輸出的情感檢測結果，包括：

將所述語音數據輸入至所述情感檢測模型的特征提取層，得到所述特征提取層輸出的所述語音數據的語音特征；

將所述語音特征輸入至所述情感檢測模型的候選區域檢測層，得到所述候選區域檢測層輸出的所述多個候選感情區域特征；

將所述多個候選感情區域特征輸入至所述情感檢測模型的目標區域檢測層，由所述目標區域檢測層對所述多個候選感情區域特征進行非極大抑制處理，得到所述目標區域檢測層輸出的所述目標感情區域特征；

將所述目標感情區域特征輸入至所述情感檢測模型的情感分類層，得到所述情感分類層輸出的所述情感檢測結果；

所述將所述語音數據輸入至所述情感檢測模型的特征提取層，得到所述特征提取層輸出的所述語音數據的語音特征，包括：

將所述語音數據輸入至所述特征提取層的聲譜圖轉換層，得到所述聲譜圖轉換層輸出的所述語音數據對應的聲譜圖；

將所述聲譜圖輸入至所述特征提取層的上采樣層，由所述上采樣層對所述聲譜圖進行上采樣，得到所述上采樣層輸出的高維特征；

將所述高維特征輸入至所述特征提取層的上下文融合層，由所述上下文融合層對所述高維特征進行上下文信息融合，得到所述上下文融合層輸出的所述語音數據的語音特征。

2.根據權利要求1所述的語音數據情感檢測方法，其特征在于，所述將所述語音數據輸入至所述特征提取層的聲譜圖轉換層，得到所述聲譜圖轉換層輸出的所述語音數據對應的聲譜圖，包括：

將所述語音數據輸入至所述特征提取層的聲譜圖轉換層，由所述聲譜圖轉換層依次對所述語音數據進行分幀處理、加窗處理以及傅里葉變換，得到所述聲譜圖轉換層輸出的所述語音數據對應的聲譜圖。

3.根據權利要求1至2任一項所述的語音數據情感檢測方法，其特征在于，所述將所述語音特征輸入至所述情感檢測模型的候選區域檢測層，得到所述候選區域檢測層輸出的所述多個候選感情區域特征，包括：

將所述語音特征輸入至所述候選區域檢測層的感情區域預測層，得到所述感情區域預測層輸出的多個初始候選感情區域特征；

將各初始候選感情區域特征輸出至所述候選區域檢測層的端點檢測層，由所述端點檢測層對各初始候選感情區域特征的起始端點和/或終止端點進行調整，得到所述端點檢測層輸出的所述多個候選感情區域特征。

4.根據權利要求1至2任一項所述的語音數據情感檢測方法，其特征在于，所述得到所述目標區域檢測層輸出的所述目標感情區域特征，之后還包括：

將所述目標感情區域特征以及所述語音特征輸入至危險程度預測模型，得到所述危險程度預測模型輸出的危險程度預測結果；

其中，所述危險程度預測模型是基于樣本感情區域特征以及所述樣本感情區域特征對應的危險程度訓練得到的。

5.根據權利要求4所述的語音數據情感檢測方法，其特征在于，所述將所述目標感情區域特征輸入至危險程度預測模型，得到所述危險程度預測模型輸出的危險程度預測結果，包括：

將所述目標感情區域特征以及所述語音特征輸入至所述危險程度預測模型的特征融合層，得到所述特征融合層輸出的融合特征；

將所述融合特征輸入至所述危險程度預測模型的結果預測層，得到所述結果預測層輸出的所述危險程度預測結果。