[發(fā)明專利]一種基于心電信號與語音信號的雙模態(tài)情感識別方法

無效

• 申請?zhí)枺?/td>: 201010230506.3
• 申請日: 2010-07-19
• 公開（公告）號: CN101887721A
• 公開（公告）日: 2010-11-17
• 發(fā)明（設(shè)計(jì)）人: 趙力;黃程韋;鄒采榮;余華;王開
• 申請（專利權(quán)）人: 東南大學(xué)
• 主分類號: G10L15/00
• 分類號: G10L15/00;G10L15/02
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 許方

技術(shù)領(lǐng)域

本發(fā)明涉及一種語音識別方法，特別涉及一種基于心電信號與語音信號的雙模態(tài)情感識別方法。

背景技術(shù)

自動情感識別是通過模式識別的理論和方法從反映情感變化的生物信號數(shù)據(jù)中識別內(nèi)在的情感狀態(tài)。目前情感識別向多模態(tài)方向發(fā)展，單一的依靠表情、語音或者生理參數(shù)來進(jìn)行情感識別的研究取得了一定的成果，但是如何將這些不同性質(zhì)的情感信號融合，達(dá)到識別性能上的互補(bǔ)，建立一個魯棒性強(qiáng)、識別率高的系統(tǒng)需要進(jìn)一步的研究。

在本發(fā)明之前，在“Bimodal?fusion?of?emotional?data?in?an?automotiveenvironment”一文中，S.Hoch等人通過融合語音與表情信息在車載環(huán)境下進(jìn)行了正面(愉快)、負(fù)面(憤怒)與平靜等三類情感狀態(tài)的識別。在“Analysis?of?emotion?recognitionusing?facial?expressions，speech?and?multimodal?information”一文中，C.Busso等人分析了單一的語音情感識別與人臉表情識別在識別性能上的互補(bǔ)性，分別通過特征層融合與決策層融合進(jìn)行基于多模態(tài)信息的情感識別。在“From?physiological?signalsto?emotions：implementing?and?comparing?selected?methods?for?feature?extractionand?classification”一文中，J.Wagner等人融合了肌動電流、心電、皮膚電阻、呼吸等四個通道的生理參數(shù)，獲得了92％的融合識別率。目前，心電情感識別和語音情感識別是分別開來進(jìn)行的，融合心電信號和語音信號的雙模態(tài)情感識別方法還沒有得到研究，心電信息與語音信息之間的互補(bǔ)優(yōu)勢沒有在情感識別中得到充分的利用。

發(fā)明內(nèi)容

本發(fā)明目的是解決單模態(tài)情感識別方法的識別率不高的缺陷，提供一種基于心電信號與語音信號的雙模態(tài)情感識別方法。

本發(fā)明為實(shí)現(xiàn)上述目的，采用如下技術(shù)方案：

本發(fā)明基于心電信號與語音信號的雙模態(tài)情感識別方法，包括如下步驟：

(1)情感數(shù)據(jù)的采集；

(2)情感特征的提取；

其特征在于還包括如下步驟：

(3)判決層融合算法：

(3-1)待識別的情感類別包括煩躁、喜悅和平靜三個類別，對語音與心電分類器均采用高斯混合模型(GMM)來進(jìn)行每種情感類別的概率模型的訓(xùn)練，高斯混合模型是成員密度的加權(quán)和，表示如下：

p(Xt|λ)=Σi=1Maibi(Xt)---(1)]]>

這里X_t是D維隨機(jī)向量，對應(yīng)輸入的待識別樣本，t為樣本的序號；b_i(X)，i＝1，2，...，M是成員密度；a_i，i＝1，2，...，M是混合權(quán)值；每個成員密度是D維變量的關(guān)于均值矢量U_i和協(xié)方差矩陣∑_i的高斯函數(shù)，此處i為高斯混合模型分量的序號；完整的高斯混合模型參數(shù)表示為：λ_i＝{a_i，U_i，∑_i}，i＝1，2，...，M；

(3-2)子分類器即語音分類器與心電分類器的融合權(quán)值w_j，可以用式(2)來得到：