[發明專利]一種基于心電信號與語音信號的雙模態情感識別方法

無效

• 申請號: 201010230506.3
• 申請日: 2010-07-19
• 公開（公告）號: CN101887721A
• 公開（公告）日: 2010-11-17
• 發明（設計）人: 趙力;黃程韋;鄒采榮;余華;王開
• 申請（專利權）人: 東南大學
• 主分類號: G10L15/00
• 分類號: G10L15/00;G10L15/02
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 許方

1.一種基于心電信號與語音信號的雙模態情感識別方法，包括如下步驟：

(1)情感數據的采集；

(2)情感特征的提取；

其特征在于還包括如下步驟：

(3)判決層融合算法：

(3-1)待識別的情感類別包括煩躁、喜悅和平靜三個類別，對語音與心電分類器均采用高斯混合模型(GMM)來進行每種情感類別的概率模型的訓練，高斯混合模型是成員密度的加權和，表示如下：

p(Xt|λ)=Σi=1Maibi(Xt)---(1)]]>

這里X_t是D維隨機向量，對應輸入的待識別樣本，t為樣本的序號；b_i(X)，i＝1，2，...，M是成員密度；a_i，i＝1，2，...，M是混合權值；每個成員密度是D維變量的關于均值矢量U_i和協方差矩陣∑_i的高斯函數，此處i為高斯混合模型分量的序號；完整的高斯混合模型參數表示為：λ_i＝{a_i，U_i，∑_i}，i＝1，2，...，M；

(3-2)子分類器即語音分類器與心電分類器的融合權值w_j，可以用式(2)來得到：

wj=Σ1≤m<n≤3|ln(P(X|λm))-ln(P(X|λn))|Σi=13ln(P(X|λi))|---(2)]]>

其中m、n代表情感模型對應的編號，λⁱ為編號為i的情感模型的GMM參數組；

(3-3)對每個子分類器的判決進行加權融合，則最終的分類器融合判決輸出為：

i*=argmax{Σj=12wjPj(X|λi)}--(3)]]>

其中j為子分類器編號，j＝1，2；

(4)特征層融合算法：

(4-1)采用PCA方法進行語音特征與心電特征的融合與降維；

(4-2)采用(3-1)中所述的高斯混合模型進行訓練與識別。