[發明專利]一種基于心電信號與語音信號的雙模態情感識別方法

無效

• 申請號: 201010230506.3
• 申請日: 2010-07-19
• 公開（公告）號: CN101887721A
• 公開（公告）日: 2010-11-17
• 發明（設計）人: 趙力;黃程韋;鄒采榮;余華;王開
• 申請（專利權）人: 東南大學
• 主分類號: G10L15/00
• 分類號: G10L15/00;G10L15/02
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 許方

技術領域

本發明涉及一種語音識別方法，特別涉及一種基于心電信號與語音信號的雙模態情感識別方法。

背景技術

自動情感識別是通過模式識別的理論和方法從反映情感變化的生物信號數據中識別內在的情感狀態。目前情感識別向多模態方向發展，單一的依靠表情、語音或者生理參數來進行情感識別的研究取得了一定的成果，但是如何將這些不同性質的情感信號融合，達到識別性能上的互補，建立一個魯棒性強、識別率高的系統需要進一步的研究。

在本發明之前，在“Bimodal?fusion?of?emotional?data?in?an?automotiveenvironment”一文中，S.Hoch等人通過融合語音與表情信息在車載環境下進行了正面(愉快)、負面(憤怒)與平靜等三類情感狀態的識別。在“Analysis?of?emotion?recognitionusing?facial?expressions，speech?and?multimodal?information”一文中，C.Busso等人分析了單一的語音情感識別與人臉表情識別在識別性能上的互補性，分別通過特征層融合與決策層融合進行基于多模態信息的情感識別。在“From?physiological?signalsto?emotions：implementing?and?comparing?selected?methods?for?feature?extractionand?classification”一文中，J.Wagner等人融合了肌動電流、心電、皮膚電阻、呼吸等四個通道的生理參數，獲得了92％的融合識別率。目前，心電情感識別和語音情感識別是分別開來進行的，融合心電信號和語音信號的雙模態情感識別方法還沒有得到研究，心電信息與語音信息之間的互補優勢沒有在情感識別中得到充分的利用。

發明內容

本發明目的是解決單模態情感識別方法的識別率不高的缺陷，提供一種基于心電信號與語音信號的雙模態情感識別方法。

本發明為實現上述目的，采用如下技術方案：

本發明基于心電信號與語音信號的雙模態情感識別方法，包括如下步驟：

(1)情感數據的采集；

(2)情感特征的提??；

其特征在于還包括如下步驟：

(3)判決層融合算法：

(3-1)待識別的情感類別包括煩躁、喜悅和平靜三個類別，對語音與心電分類器均采用高斯混合模型(GMM)來進行每種情感類別的概率模型的訓練，高斯混合模型是成員密度的加權和，表示如下：

p(Xt|λ)=Σi=1Maibi(Xt)---(1)]]>

這里X_t是D維隨機向量，對應輸入的待識別樣本，t為樣本的序號；b_i(X)，i＝1，2，...，M是成員密度；a_i，i＝1，2，...，M是混合權值；每個成員密度是D維變量的關于均值矢量U_i和協方差矩陣∑_i的高斯函數，此處i為高斯混合模型分量的序號；完整的高斯混合模型參數表示為：λ_i＝{a_i，U_i，∑_i}，i＝1，2，...，M；

(3-2)子分類器即語音分類器與心電分類器的融合權值w_j，可以用式(2)來得到：