[發明專利]基于語音、表情與心電信號的三模態連續情感預測方法

在審

• 申請號: 201610369828.3
• 申請日: 2016-05-28
• 公開（公告）號: CN107437090A
• 公開（公告）日: 2017-12-05
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 郭帥杰
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于語音、表情與心電信號的三模態連續情感預測方法，其特征在于該方法包括以下步驟：

1.1、分別對三模態數據庫中訓練樣本和測試樣本的各個模態提取出不同的情感特征，將提取得到的訓練樣本和測試樣本的語音特征矩陣分別用V_tr和V_te來表示，同樣的，表情特征矩陣分別用F_tr和F_te來表示，心電信號特征矩陣分別用E_tr和E_te來表示；

1.2、對訓練樣本和測試樣本的各個模態的情感特征進行時間對準并歸一化，歸一化范圍為0-1，歸一化公式如下表示：

xi*=xi-xminxmax-xmin]]>

其中x_i,x_i^*分別表示數據歸一化前后的值，x_min,x_max分別表示數據中的最小和最大值，將歸一化后的各模態訓練樣本和測試樣本的特征矩陣分別表示為V_tr',F_tr',E_tr'和V_te',F_te',E_te'；

1.3、利用RReliefF算法對各個模態的特征分別進行特征選擇，將經過特征選擇后的訓練樣本和測試樣本的特征矩陣分別表示為V_tr”,F_tr”,E_tr”和V_te”,F_te”,E_te”；

1.4、采用特征層融合的方法，將訓練樣本和測試樣本的經過特征選擇后的各個模態每個樣本的情感特征向量首尾串接起來，組合成融合后的特征，用Fu_tr和Fu_te來表示，其中：

Fu_tr＝[V_tr”F_tr”E_tr”]，Fu_te＝[V_te”F_te”E_te”]

1.5、在得到融合后的訓練樣本的情感特征后，將其與情感數值向量Y一起用數據集Fu_trY來表示，Fu_trY＝[Fu_tr Y]，其中情感數值向量Y是由一系列連續的情感數值組成的，Fu_tr＝[x₁,x₂,...,x_p]，Y＝[y₁,y₂,...,y_p]，x_p∈R^q是一個q維的特征向量，y_p∈R是目標輸出值，經過對訓練樣本特征數據的訓練學習，最終得到一個回歸函數，使其在給定特征向量x_p時，得到的回歸函數值能最大程度地靠近原樣本數據集中的y_p，即達到對原數據最好的擬合；

1.5.1、將訓練樣本的特征數據集Fu_trY向高維空間進行映射，以使其變為類別可分的，假設此映射關系用來表示，用ω來表示此回歸函數的系數向量，則整個回歸函數的形式可以寫作：其中，b為回歸函數的偏置，在預先給定懲罰因子C＞0與不敏感懲罰系數ε＞0的情況下，此問題就可以看作是一個極值最優化問題，如下式所示：

min12||ω||2+CΣp=1q(ψp+ψp*)]]>

式中，ψ_p和ψ_p^*稱為松弛因子，其約束條件可以表示如下：

這是一個凸二次優化問題，將其轉化為對偶規劃問題，如下所示：

max-12(α-α*)TQ(α-α*)-ϵΣp=1q(αp+αp*)-Σp=1qyp(αp-αp*)]]>

式中，其約束條件表示如下：

Σp=1q(αp-αp*)=0,0≤αp,C≥αp*,p=1,2,...,q,]]>

這里，我們用高斯核函數來代替Q_ij，然后求解上述最優化問題，最終得到的回歸函數可以表示如下：

f(x)=Σp=1q(-αp+αp*)K(xp,x)+b.]]>

式中

1.6、得到回歸函數后，將測試樣本的經過融合后的特征Fu_te代入到回歸函數中，就可以得到情感預測值。