[發明專利]用戶情緒識別的方法和系統

有效

• 申請號: 202110677222.7
• 申請日: 2021-06-18
• 公開（公告）號: CN113506586B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 高鵬;郝少春;袁蘭;吳飛;周偉華;高峰;潘晶
• 申請（專利權）人: 杭州摸象大數據科技有限公司
• 主分類號: G10L25/63
• 分類號: G10L25/63;G10L25/24;G10L15/26;G10L25/30
• 代理公司: 杭州創智卓英知識產權代理事務所(普通合伙) 33324
• 代理人: 張超

1.一種用戶情緒識別的方法，其特征在于，所述方法包括：

獲取語音數據，并根據所述語音數據，提取語音特征，其中，所述語音特征包括梅爾倒譜系數特征，提取所述梅爾倒譜系數特征包括：對所述語音數據進行預處理；對所述預處理后的語音數據進行預加重處理；對所述預加重后的語音數據進行分幀處理；對所述分幀后的語音數據進行加窗處理；對所述加窗后的語音數據進行快速傅里葉變換處理，得到聲譜圖；對所述聲譜圖應用梅爾濾波器后，取對數，得到梅爾聲譜圖；對所述梅爾聲譜圖進行倒譜分析，得到梅爾倒譜系數特征；確定所述梅爾倒譜系數特征的一階差分和二階差分，得到梅爾倒譜系數隨時間的變化軌跡；

對所述語音數據進行轉化處理，得到文本數據，并根據所述文本數據，提取文本特征，其中，所述文本特征包括字詞特征和位置特征；

輸入所述語音特征和所述文本特征至用戶情緒識別模型中，輸出所述用戶的情緒標簽，其中，在所述用戶情緒識別模型中：

使用卷積神經網絡表征所述語音特征，得到第一特征，使用長短時記憶網絡表征所述第一特征，得到第二特征，

使用卷積神經網絡表征所述文本特征，得到第三特征，使用長短時記憶網絡表征所述第三特征，得到第四特征，

將所述第二特征和所述第四特征進行全連接，確定所述用戶的情緒標簽。

2.根據權利要求1所述的方法，其特征在于，所述語音特征還包括音高特征、語調特征和語速特征，所述語音特征的提取過程包括：

根據所述語音數據的波形，確定所述波形的峰值、頻率和周期；

根據所述峰值、所述頻率和所述周期，一一對應確定所述語音數據的所述音高特征、所述語調特征和所述語速特征；

用Embedding表示所述音高特征、所述語調特征和所述語速特征。

3.根據權利要求1所述的方法，其特征在于，所述文本特征還包括發音特征，所述文本特征的提取過程包括：

確定所述文本數據中的每個字在所述文本數據中的發音，得到所述發音特征，其中，所述發音包括拼音、音調、聲母或韻母；

用Embedding表示所述發音特征。

4.根據權利要求3所述的方法，其特征在于，所述提取所述文本特征之前，所述方法包括：對所述文本數據糾錯，其中，所述糾錯的過程包括：

輸入所述文本數據至掩碼語言模型中，所述掩碼語言模型根據錯誤混淆集，確定并掩藏所述文本數據中的發音易錯詞，其中，所述錯誤混淆集內包含發音易錯詞和發音相似詞的關聯關系，所述掩碼語言模型在模型訓練階段做增量訓練的過程中，根據所述錯誤混淆集，按照目標比例將訓練數據中的發音相似詞替換成發音易錯詞；

所述掩碼語言模型確定掩藏位置處的概率最大的候選詞，在所述發音易錯詞與所述候選詞不一致的情況下，所述掩碼語言模型將所述發音易錯詞替換成所述候選詞。

5.一種用戶情緒識別的系統，其特征在于，所述系統包括：

第一提取模塊，用于獲取語音數據，并根據所述語音數據，提取語音特征，其中，所述語音特征包括梅爾倒譜系數特征，提取所述梅爾倒譜系數特征包括：對所述語音數據進行預處理；對所述預處理后的語音數據進行預加重處理；對所述預加重后的語音數據進行分幀處理；對所述分幀后的語音數據進行加窗處理；對所述加窗后的語音數據進行快速傅里葉變換處理，得到聲譜圖；對所述聲譜圖應用梅爾濾波器后，取對數，得到梅爾聲譜圖；對所述梅爾聲譜圖進行倒譜分析，得到梅爾倒譜系數特征；確定所述梅爾倒譜系數特征的一階差分和二階差分，得到梅爾倒譜系數隨時間的變化軌跡；

第二提取模塊，用于對所述語音數據進行轉化處理，得到文本數據，并根據所述文本數據，提取文本特征，其中，所述文本特征包括字詞特征和位置特征；

確定模塊，用于輸入所述語音特征和所述文本特征至用戶情緒識別模型中，輸出所述用戶的情緒標簽，其中，在所述用戶情緒識別模型中：

使用卷積神經網絡表征所述語音特征，得到第一特征，使用長短時記憶網絡表征所述第一特征，得到第二特征，

使用卷積神經網絡表征所述文本特征，得到第三特征，使用長短時記憶網絡表征所述第三特征，得到第四特征，

將所述第二特征和所述第四特征進行全連接，確定所述用戶的情緒標簽。