[發明專利]多模態智能情緒感知系統

在審

• 申請號: 201710295623.X
• 申請日: 2017-04-28
• 公開（公告）號: CN107220591A
• 公開（公告）日: 2017-09-29
• 發明（設計）人: 馬婷;陳楊;王煥煥;李杰;李北京
• 申請（專利權）人: 哈爾濱工業大學深圳研究生院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G10L15/24
• 代理公司: 深圳市科吉華烽知識產權事務所(普通合伙)44248
• 代理人: 于標

1.一種多模態智能情緒感知系統，其特征在于，包括采集模塊、識別模塊、融合模塊，所述采集模塊將采集到的信息傳輸給所述識別模塊，所述采集模塊包括視頻采集裝置、語音采集裝置、動作捕捉裝置以及生理信號采集裝置，所述識別模塊包括基于表情的情緒識別單元、基于語音的情緒識別單元、基于行為的情緒識別單元、以及基于生理信號的情緒識別單元，所述識別模塊中的各情緒識別單元對多模態信息進行識別，從而獲得情緒分量，所述情緒分量包含情緒類型和情緒強度，所述融合模塊將所述識別模塊的情緒分量進行融合實現人體情緒的準確感知；

所述基于表情的情緒識別單元通過對采集到的視頻或者圖像，提取有效的動態表情特征或靜態表情特征，訓練出人臉表情與情緒的映射模型，在訓練好的模型基礎上，通過分類器對表情特征進行識別從而得到表情的情緒分量；

基于語音的情緒識別單元從實時采集的語音信號中提取能夠表征情緒變化的特征參數，通過對表達情緒的有效參數的提取、分析，進而通過分類器進行情緒的判別，得到語音的情緒分量；

基于行為的情緒識別單元通過分析和提取與情緒相關的行為特征，將其量化為表征情緒的參數，得到人體動作與情緒的映射模型，在識別的過程中，通過對固定長度的運動序列進行動作識別，得到不同的行為特征的數值，將其放入映射模型中從而得到了行為的情緒分量；

基于生理信號的情緒識別單元用于對通過接觸或非接觸式方式采集的用戶生理信號，濾除生理信號中的噪聲后，利用經典模態分解和希爾伯特-黃變換算法提取心電、脈搏、肌電、皮膚電、腦電和呼吸信號的生理信號的特征，通過線性融合的方法對上述特征進行特征融合，并用信息增益率對特征進行選擇，最后，通過分類器對特征進行識別得到基于生理信號的情緒分量。

2.根據權利要求1所述的多模態智能情緒感知系統，其特征在于，所述基于表情的情緒識別單元包括：

表情特征提取模塊，用于對采集到的視頻或者圖像進行預處理操作，從預處理后的圖像或者視頻中提取有效的表情特征；

訓練映射模型模塊，用于利用提取到的有效的表情特征訓練出情緒模型；分類器判別情緒模塊，用于利用訓練好的情緒模型，選取分類器進行情緒類型判別和情緒強度的計算，得到表情的情緒分量。

3.根據權利要求2所述的多模態智能情緒感知系統，其特征在于，

在表情特征提取模塊中，對采集到的視頻序列進行關鍵幀提取，在檢測到視頻序列的關鍵幀后，將單個表情的一段完整的視頻序列分割出來，對分割后的視頻片段進行預處理操作，對預處理后的視頻序列提取動態特征或者靜態特征，從而提取有效的表情特征；

在訓練映射模型模塊中，對提取到的動態特征或靜態特征，采用特征降維方法進行特征降維去取特征間的相關性，并對降維后的特征用reliefF特征選擇方法進行特征選擇加權，使得加權后的綜合特征更加具有區分能力。

4.根據權利要求3所述的多模態智能情緒感知系統，其特征在于，在表情特征提取模塊中，關鍵幀提取的特征是視頻序列的三維空間梯度的幅值特征或是光流應變幅值。

5.根據權利要求3所述的多模態智能情緒感知系統，其特征在于，在所述表情特征提取模塊中，所述預處理操作包括對分割后的視頻片段進行人臉檢測、人眼定位、根據人眼進行配準、旋轉至水平、剪切歸一化人臉、直方圖均衡化，所述預處理操作包括上述操作的一種或幾種。

6.根據權利要求1所述的多模態智能情緒感知系統，其特征在于，所述基于語音的情緒識別單元包括：

語音提取分析模塊，對采集到的語音信號進行預處理，并從中提取能夠表征情緒變化的特征參數；

分類器判斷模塊，針對表征情緒變化的特征參數，通過分類器進行情緒的判別，得到語音情緒分量；

在所述語音提取分析模塊中，對采集到的語音信號進行采樣、量化，使之變成數字信號，然后對語音信號進行分幀、加窗的預處理，對原始特征向量集合進行降維，得到簡約向量集，降低網絡模型的復雜性，降低訓練時間；

在所述分類器判斷模塊中，采用分類器的分類識別算法進行分類識別，從而得到語音的情緒識別分量。