[發明專利]一種基于敏感度可調的語音情感識別方法及系統

有效

• 申請號: 201810305527.3
• 申請日: 2018-04-04
• 公開（公告）號: CN108564942B
• 公開（公告）日: 2021-01-26
• 發明（設計）人: 王蔚;馮亞琴
• 申請（專利權）人: 南京師范大學
• 主分類號: G10L15/02
• 分類號: G10L15/02;G10L15/14;G10L15/16;G10L15/26;G10L25/21;G10L25/30;G10L25/63
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

本發明公開了一種基于敏感度可調的語音情感識別方法及系統，該方法及系統首先接收用戶的輸入語音信號，利用語音識別軟件對語音信號進行文本識別，建立語音信號特征矢量和文本特征矢量；將語音特征矢量和文本特征矢量分別輸入語音情感識別模型和文本情感識別模型中進行識別，判斷此語音對應的四種情感的類別概率；用戶可以調整四種情感判斷的加權值；由融合決策層根據情感感知敏感度加權的四類情感概率得到最終識別結果，實現了情感敏感度可調的情感識別。本發明可為人機交互、情感管理和情感計算帶來新的解決方案和應用方法。

技術領域

本發明屬于語音識別領域，尤其涉及一種基于敏感度可調的語音情感識別方法及系統。

背景技術

情感是人類交流手段的一種常見的表達方式，在人機交互中起著重要的作用。語音作為人類最直接的交流手段，其本身能傳遞豐富的情感信息，已被成功用于情感的自動識別中。盡管語音情感識別取得了可應用性的成果，但不同的情感對人類交流和反應有著不同重要性，人類在識別不同情感變化時有著不同的敏感度，例如語氣中情感的憤怒、悲傷等特殊情感出現時的敏感覺察對有效的交際有著重要的意義。目前的語音情感識別系統一般采用識別錯誤率最小的決策方式，可以保證整體識別準確率最高，但對敏感情感識別率難以達到要求，而在很多情境下特殊情感如憤怒、開心等的變化對人與人的交往很重要。

現有的語音情感識別方法，主要包括語音特征表示和分類器結構的方法。語音信息本身包含豐富的情感信息，但并不是情感的全部信息，并且音頻信號本身存在一些固有缺陷，如信號弱、噪聲強等，從單一的語音模型識別情感并不全面。多模態的融合是利用文本、生理信號、面部表情等多個通道的情感信息互補性提高分類器的識別性能，從而提高識別分類器的準確度。不同通道的信息對不同情緒有不同的區別作用，研究表明語音通道對情感強度有較豐富的信息，文本通道包含更敏感的正負情感區分信息。所以，在現有語音情感識別的基礎上，將語音與文本兩通道的信息融合，在語音情感識別中增加對特殊情感敏感識別功能是人工智能中類人情感交互的亟待解決的問題。

發明內容

發明目的：針對以上存在問題和不足，本發明提出一種基于敏感度可調的語音情感識別方法及系統，該方法及系統可以將語音與文本兩通道的信息融合，通過設置情感的敏感度權值，得到不同情感的概率值。

技術方案：為實現本發明的上述目的，本發明所采用的技術方案是：一種基于敏感度可調的語音情感識別方法，包括如下步驟：

(1.1)接收用戶語音信號，提取語音的聲學特征矢量；

(1.2)將語音信號轉換為文本信息，獲取語音的文本特征矢量；

(1.3)將聲學特征矢量和文本特征矢量輸入語音情情感識別模型和文本情感識別模型中，分別得到不同情感的概率值；

(1.4)設置不同情感的權值，得到語音情感的最終判斷識別結果。

其中，所述情感包括高興、生氣、悲傷和平靜。

其中，在步驟(1)中，使用如下方法提取語音的聲學特征矢量：

(1.1)將音頻分割為幀，對每個語音句子提取幀級的低層次聲學特征；

(1.2)應用全局統計函數，將每個語音句子的每一組時長不等的基礎聲學特征轉化為等長的靜態特征，得到多維度聲學特征矢量。

其中，在步驟(2)中，使用如下方法獲取文本信息的文本特征矢量：

(2.1)利用文本數據集對不同種情感分別進行詞頻與逆詞頻統計；

(2.2)根據統計結果，每種情感選取前N個詞，合并去除重復詞后形成去除重復詞，合并成基本詞匯表；

(2.3)判斷語音文本中的每個詞在每個樣本詞匯表中是否出現，出現為1，不出現為0，得到語音文本特征矢量。