[發明專利]基于語音、表情與心電信號的三模態連續情感預測方法

在審

• 申請號: 201610369828.3
• 申請日: 2016-05-28
• 公開（公告）號: CN107437090A
• 公開（公告）日: 2017-12-05
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 郭帥杰
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明屬于圖像處理與模式識別領域，涉及一種連續情感預測方法，特別涉及一種基于語音、表情與心電信號的三模態連續情感預測方法。

背景技術

人類情感在人類交流方面扮演著至關重要的角色，其傳遞的信息非常豐富。隨著科學技術和人類社會的不斷進步，智能機器步入了千家萬戶，能感知人類情感并做出相應反映的人機交互領域迫切地需要得到發展。至于如何有效地進行人機交互，首要的關鍵點在于如何使機器正確地識別出人類所表達出的情感，即所謂的情感識別。

人類的情感狀態可以被人為地分成一些類別，如高興，悲傷，驚訝，生氣，害怕，厭惡等，有關情感分類識別的研究也取得了一定的進展。但遺憾的是，這種分類方法始終不能很好地反應出情感表達者當前真正的情感，因為人類的情感非常復雜，單一的某個情感標簽并不能準確地表達出一個人此刻的感受。

另一方面，我們也可以把情感狀態在某些維度上來進行一定的劃分，例如激勵-效價維的劃分，這種劃分方法在表達人類情感方面有其獨到的優勢，能更加貼切地還原一個人此刻真實的情感狀態。所謂的激勵維就是一種對情感的強烈程度的描繪方式，如果把激勵維看成是一條直線，那么直線的一端表示情感有多激烈，而另一端就表示情感有多平靜。效價維則是一種在情感的正反層面上的一種描繪方式，同樣的道理，如果直線的一端表示情感有多積極，則另一端就表示情感有多消極。激勵-效價維主要是從情感的強度和正反面兩個維度來對情感進行刻畫的。由這兩個情感維度組成的維度空間就可以完整地表達出人類所有的情感。相較于傳統的將情感劃分為某些具體的類別的方式，這種方法體現出了較為明顯的優勢，便于對人類的某些情感進行更為準確地劃分。

單單只利用某一種模態的信息來預測情感的方式，稱為單模態情感識別。在現實生活中，人類情感的表達方式是多種多樣的，在說話的同時，我們會做出相應的表情，有時還會伴隨著一些肢體動作。所以，從現實的人類情感交互的過程中，我們可以看到，單一模態的情感信息是不完善且不豐富的，對于情感的準確判別是遠遠不夠的，各個模態的情感信息之間是相輔相成，缺一不可的。

由于多模態特征數據的龐大性與復雜性，導致在后期處理的時候可能遭遇實時性及穩定性不足的問題，因此利用特征選擇技術，我們可以對特征進行一定的篩選與優化，以使其更能反映出樣本的真實特性，增加了系統的實時性與魯棒性。

目前，人工智能領域得到了飛速的發展，如何讓冰冷的機器順利地感知人類表達出來的情感是學術界的一項熱門課題。然而現今還只停留在單模態如表情或語音的情感識別上，能綜合各種模態的情感信息的情感識別方法還有待發展，本發明針對開發人機交互系統的需求，提出一種基于語音信號、表情信號與心電信號的三模態連續情感預測方法。

發明內容

技術問題：針對開發人機交互系統的需求，提出一種基于語音、表情與心電信號的三模態連續情感預測方法，解決現有技術不能充分利用人類表達情感過程中各模態情感信息的問題，為人機交互領域的情感識別系統開辟出一條新的途徑。

技術方案：本發明的基于語音、表情與心電信號的三模態連續情感預測方法，其特征在于該方法包括以下步驟：

1.1、分別對三模態數據庫中訓練樣本和測試樣本的各個模態提取出不同的情感特征，將提取得到的訓練樣本和測試樣本的語音特征矩陣分別用V_tr和V_te來表示，同樣的，表情特征矩陣分別用F_tr和F_te來表示，心電信號特征矩陣分別用E_tr和E_te來表示；

1.2、對訓練樣本和測試樣本的各個模態的情感特征進行時間對準并歸一化，歸一化范圍為0-1，歸一化公式如下表示：

其中x_i,x_i分別表示數據歸一化前后的值，x_min,x_max分別表示數據中的最小和最大值，將歸一化后的各模態訓練樣本和測試樣本的特征矩陣分別表示為V_tr',F_tr',E_tr'和V_te',F_te',E_te'；