[發明專利]一種基于神經網絡的情感識別方法、設備及介質

在審

• 申請號: 202011239769.0
• 申請日: 2020-11-09
• 公開（公告）號: CN112489688A
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 周文鎧
• 申請（專利權）人: 浪潮通用軟件有限公司
• 主分類號: G10L25/63
• 分類號: G10L25/63;G10L15/26;G10L15/02;G10L15/16;G10L15/20;G10L25/09;G10L25/03;G10L25/15;G10L25/24;G10L25/30
• 代理公司: 北京君慧知識產權代理事務所(普通合伙) 11716
• 代理人: 董延麗

本申請公開了一種基于神經網絡的情感識別方法、設備及介質，方法包括：確定用戶對應的待識別語音；通過預先訓練的聲音識別模型，對待識別語音進行情感識別，得到聲音識別結果；將待識別語音轉換為文本，并對文本進行情感識別，得到文本識別結果；將聲音識別結果與文本識別結果進行融合，得到待識別語音對應的最終結果。在通過用戶的語音識別情感時，不只采用聲音或者文本，而是通過雙模態判斷用戶的情感，識別效果遠好于單模態的識別效果，保證了雙模態融合情感識別的有效性。雙模態信息融合相對比單模態信息，更廣泛的包含了語音當中的聲音變化信息和語義信息，從而在模型訓練和決策判斷中可以更有利于交叉判斷，得到最優的情感識別結果。

技術領域

本申請涉及情感識別領域，具體涉及一種基于神經網絡的情感識別方法、設備及介質。

背景技術

隨著多媒體技術的發展，為如今大數據環境下的情感計算提供了重要的數據來源。

通常情況下，情感計算主要針對采集到的不同數據，例如圖像數據、語音數據和文字數據，來進行相應的識別處理。其中，對于語音數據的情感識別主要利用語音的聲學特征和韻律學特征，對語音信號建模。但是這種傳統的語音情感識別，僅僅對語音的聲音信號進行分析，而忽略了語音當中包含的豐富的內容信息表達，并不能很好的描述情感表達結果。這也就使得現有的針對語音的情感識別結果不夠準確。

發明內容

為了解決上述問題，本申請提出了一種基于神經網絡的情感識別方法，包括：確定用戶對應的待識別語音；通過預先訓練的聲音識別模型，對所述待識別語音進行情感識別，得到聲音識別結果；將所述待識別語音轉換為文本，并對所述文本進行情感識別，得到文本識別結果；將所述聲音識別結果與所述文本識別結果進行融合，得到所述待識別語音對應的最終結果。

在一個示例中，通過預先訓練的聲音識別模型，對所述待識別語音進行情感識別，得到聲音識別結果，包括：對所述待識別語音進行降噪預處理；提取所述待識別語音的譜特征以及韻律學特征；將所述譜特征以及所述韻律學特征進行耦合，得到所述待識別語音的聲音特征；通過預先訓練的聲音識別模型，對所述聲音特征進行情感識別，得到聲音識別結果。

在一個示例中，對所述待識別語音進行降噪預處理，包括：將所述待識別語音進行歸一化處理；對所述待識別語音進行逐幀檢測，計算每幀語音的過零率和短時能量；通過端點檢測，將所述待識別語音劃分成若干個語音段，以對所述待識別語音進行降噪預處理。

在一個示例中，通過端點檢測，將所述待識別語音劃分成若干個語音段，包括：若存在相應幀的所述過零率高于預設的過零率門限閾值、所述短時能量高于預設的短時能量門限閾值，則將該相應幀作為起始幀；若在所述起始幀后，存在若干連續的語音幀的所述過零率都不高于所述過零率門限閾值、所述短時能量不高于預設的短時能量門限閾值，則將所述若干連續的語音幀的最后一幀作為結束幀；將所述起始幀與所述結束幀之間的部分作為一個語音段。

在一個示例中，所述譜特征包括：梅爾頻率倒譜系數MFCC；所述韻律學特征包括：語速、振幅特征、基因周期、共振峰中的至少一種。

在一個示例中，對所述文本進行情感識別，得到文本識別結果，包括：將所述文本進行分詞，得到若干個詞匯；提取所述若干個詞匯的文本特征，并通過預先訓練的文本識別模型，對所述文本特征進行情感識別，得到第一文本識別結果；通過預設的情感詞典，對所述若干個詞匯進行情感識別，得到第二文本識別結果。

在一個示例中，提取所述若干個詞匯的文本特征，包括：基于文檔頻率DF、互信息MI、卡方統計CHI中的至少一種，提取所述若干個詞匯的文本特征。

在一個示例中，通過預設的情感詞典，對所述若干個詞匯進行情感識別，得到第二文本識別結果，包括：通過預設的情感詞典，以及預設的不同情感所對應的權重，對所述若干個詞匯進行情感識別，得到第二文本識別結果。