[發(fā)明專利]一種基于深度信念網(wǎng)絡的多模態(tài)情感識別方法

在審

• 申請?zhí)枺?/td>: 201710322847.5
• 申請日: 2017-05-09
• 公開（公告）號: CN107092895A
• 公開（公告）日: 2017-08-25
• 發(fā)明（設計）人: 黃俊;張若凡;劉科征;崔浩然
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

張若凡

技術領域：

本發(fā)明屬于信號處理、情感識別領域，特別涉及一種基于深度信念網(wǎng)絡的多模態(tài)情感識別方法。

背景技術

情感識別一直是模式識別領域的熱門話題，目的是在于通過計算機對用戶的生理信號進行分析和處理，得出用戶的情感狀態(tài)。目前針對語音或者生理信號的單模式情感識別技術已經(jīng)相對成熟，但存在信息單一識別的結果不夠可靠、準確的缺點。因此，利用不同性質(zhì)的多模態(tài)特征的多模態(tài)情感識別技術值得進一步研究。

多模態(tài)情感識別的主要步驟包括信息特征提取和分類器設計。分類器主要有支持向量機(SVM)、神經(jīng)網(wǎng)絡、K近鄰算法、貝葉斯方法等等。國內(nèi)外研究人員在解決多模態(tài)情感識別問題時，大都采用這些分類算法。現(xiàn)有已公開專利文獻中有一項名稱為“一種基于多核學習的多模態(tài)情感識別方法”的發(fā)明專利，該發(fā)明在提取表情、語音和生理特征的基礎上，對三種模態(tài)對應的核矩陣組進行融合，得到融合的多模態(tài)情感特征，最后使用多核支持向量機作為分類器進行訓練和識別，有效的識別出生氣、惡心、害怕、高興、悲傷和驚訝等基本情感；在邵潔、趙倩的發(fā)明專利“基于表情和行為雙模態(tài)結合的人類自然狀態(tài)情感識別方法”中，采用聚類方法由特征點運動軌跡提取出人體軀干運動特征以及通過人臉子區(qū)域的圖像進行人臉表情特征提取，再由多模態(tài)情感識別技術進行情感識別。

這類多模態(tài)情感識別方法極大地依賴于對情感特征的抽取，而目前采用的特征抽取方法大都是人工設計的，再通過特征選擇算法剔除冗余或者不相關的特征，得出最優(yōu)或者次優(yōu)特征子集，這一步驟的目的是為了提高識別準確率和降低特征維度。這一過程極大地依賴人工專家的經(jīng)驗和反復實驗，既需要大量的人力與計算資源，又很難得到最優(yōu)的情感特征表達，從而影響了情感識別的最終效果。

本發(fā)明針對現(xiàn)有多模態(tài)情感識別技術中特征提取方法的不足，利用深度信念網(wǎng)絡在自動提取特征方面的優(yōu)勢，結合多模態(tài)情感識別技術，實現(xiàn)一種基于深度信念網(wǎng)絡的多模態(tài)情感識別方法。既利用了多模態(tài)特征的相關性和互補性，實現(xiàn)更加可靠穩(wěn)定的情感識別，又能通過深度信念網(wǎng)絡的非線性結構更好地學習復雜數(shù)據(jù)的結構和分布，自動提取更高級的特征然后分類，減少了情感特征提取對人的依賴性。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術的缺點和不足，提供一種準確率更高的基于深度信念網(wǎng)絡的多模態(tài)情感識別方法，采用決策層融合的方法最終得出情感識別結果。具體技術方案實現(xiàn)：一種基于深度信念網(wǎng)絡的多模態(tài)情感識別方法，步驟如下：

一、建立一個多模態(tài)情感識別數(shù)據(jù)庫，包含3類情感的樣本，分別是：語音情感識別數(shù)據(jù)庫、心電情感識別數(shù)據(jù)庫和呼吸情感識別數(shù)據(jù)庫，每類情感樣本數(shù)為n；

二、針對3種情感識別數(shù)據(jù)庫分別抽取特征，獲取語音情感識別數(shù)據(jù)庫、心電情感識別數(shù)據(jù)庫和呼吸情感識別數(shù)據(jù)庫中每個樣本對應的特征向量，從每種情感識別數(shù)據(jù)庫抽取60％的樣本作為驗證集；

三、設置子空間規(guī)模M及子空間每個樣本特征向量，每次被抽取的維度為n；

四、針對每個樣本的特征向量進行M次的隨機抽取組成M個子空間，即每次每個樣本特征向量被抽取部分組合構成一個子空間，一個子空間對應形成一個新的訓練集；其中針對每個樣本特征向量隨機抽取的維度為n維；

五、生成M個深度信念網(wǎng)絡模型，并在M個深度信念網(wǎng)絡模型輸出端共同連接一個分類器進行訓練，分別得到3種情感識別數(shù)據(jù)庫的深度信念網(wǎng)絡分類器；

六、將3種情感識別數(shù)據(jù)庫的深度信念網(wǎng)絡分類器依據(jù)一定的準則進行決策融合，得到最終的識別結果。

本發(fā)明相對于現(xiàn)有技術具有如下的優(yōu)點及效果：

(1)本發(fā)明方法設計生成深度信念網(wǎng)絡分類器，自動抽取情感特征，取代了人工抽取特征的方式，從而最終提升分類的準確性。

(1)本發(fā)明方法中針對每種情感識別數(shù)據(jù)庫，由M個深度信念網(wǎng)絡模型及M個深度信念網(wǎng)絡模型輸出端共同連接的分類器經(jīng)過每種情感識別數(shù)據(jù)庫數(shù)據(jù)集訓練后構成深度信念網(wǎng)絡分類器，然后將待測信號的特征向量輸出至深度信念網(wǎng)絡分類器中，通過深度信念網(wǎng)絡分類器獲取到最終的多模態(tài)情感識別的結果。

(2)本發(fā)明對多種模態(tài)的特征經(jīng)過訓練和分類器分類，在決策層通過相應的加權模型進行融合，得到情感識別的最終結果，提高了情感識別的效果。

附圖說明

圖1是本發(fā)明中每種情感識別數(shù)據(jù)庫深度信念網(wǎng)絡分類器的生成框圖。

圖2是本發(fā)明中決策層融合算法流程圖。

具體實施方式