[發明專利]一種基于多尺度時序建模的維度情感識別方法

有效

• 申請號: 201410601169.2
• 申請日: 2014-10-30
• 公開（公告）號: CN104361316A
• 公開（公告）日: 2015-02-18
• 發明（設計）人: 陶建華;巢林林;楊明浩
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 宋焰琴

技術領域

本發明屬于視頻信號處理領域，具體涉及一種基于多尺度時序建模的維度情感識別方法，并以此來提高連續維度的情感識別的精度。

背景技術

近年來，國內外研究人員對連續維度情感識別進行了大量的研究工作，提出了許多用于情感識別的有效方法。這些方法從處理策略上可以分為基于靜態分類器的檢測方法和基于動態分類器的檢測方法。基于靜態分類器的檢測方法，多利用支持向量機(SVM)、神經網絡、Boosting等，且這類分類器多為判別式模型。由于具有較強的區分能力，因此廣泛應用于情感狀態識別領域，但這種方法忽略了連續維度情感中不同時刻情感相互聯系的事實，也即忽視了時序建模在分類模型中的關鍵作用。情感狀態是一個逐漸變化的、平滑的過程，有著很強的上下文相關性，充分考慮情感狀態的時序信息將有助于分類精度的提升。基于動態分類器的檢測方法大多采用基于隱馬爾科夫(HMM)的分類模型，HMM在序列上下文信息建模方面有著突出的優勢，因而對于時間序列，能夠較好的融合序列信號的上下文信息，融合一定的情感歷史信息。然而，HMM只能在單一時間尺度上進行時序建模，且時序建模的范圍有限，并不能完全反應情感時序信息在情感識別中的關鍵作用。

本發明利用深度置信網絡實現較小尺度的時序建模，同時利用線性回歸進行多模態及時序的同時融合，實現了較大尺度上的時序建模，進而依靠兩級不同尺度上的時序建模，實現了維度情感的精確預測。

發明內容

為了解決上述現有技術中存在的連續語音序列的情感信息識別問題，本發明提出了一種基于多尺度時序建模的維度情感識別方法。

本發明提出的一種基于多尺度時序建模的維度情感識別方法，包括以下步驟：

步驟1，對于視頻序列中的每幀圖像進行人臉檢測及跟蹤，并根據檢測或跟蹤得到的人臉區域圖像提取對應的人臉關鍵點作為第一類組人臉特征；

步驟2，根據所述步驟1得到的人臉關鍵點，對于相應的人臉區域圖像進行人臉校正，分別提取人臉區域圖像、人臉嘴部區域圖像和人臉眼睛區域圖像中所有像素的灰度值作為第二、三、四類組人臉特征；

步驟3，分別提取單位時間段t內多幀圖像的四類組人臉特征，并將提取得到的四類組人臉特征分別輸入到具有時序池化層的深度置信網絡中進行維度情感初步預測，得到單位時間段t內視頻序列的情感初步預測結果；

步驟4，根據所述步驟3提取連續N個單位時間段t內的四類組人臉特征并分別進行情感初步預測，根據連續N個單位時間段t的情感初步預測結果訓練得到情感預測線性回歸器，所述情感預測線性回歸器用于同時融合上述四類組人臉特征在同一時間段內的情感預測值；

步驟5，對于連續N個單位時間段t內的測試視頻序列，根據所述步驟1-3，得到連續N個單位時間段t內測試視頻序列的情感初步預測結果，將得到的連續N個單位時間段t內測試視頻序列的情感初步預測結果輸入至線性回歸器進行時序及模態融合，得到每單位時間段t內測試視頻序列的情感預測值。

本發明在視頻序列中，采用多層時序建模，實現了兩個不同實現粒度上的有效建模，同時融合了多種視覺特征，最終達到了對連續維度情感的有效預測。

附圖說明

圖1是本發明基于多尺度時序建模的維度情感識別方法的流程圖。

圖2是本發明步驟1的流程示意圖。

圖3是本發明步驟2的流程示意圖

圖4是本發明采用的具有時序池化層的深度置信網絡的結構示意圖。

圖5是本發明步驟5的流程示意圖。

具體實施方式

為使本發明的目的、技術方案和優點更加清楚明白，以下結合具體實施例，并參照附圖，對本發明進一步詳細說明。

需要說明的是，在附圖或說明書描述中，相似或相同的部分都使用相同的圖號。附圖中繪示或描述的實現方式，為所屬技術領域中普通技術人員所知的形式。應該指出，所描述的實例僅僅視為說明的目的，而不是對本發明的限制。

圖1是本發明基于多尺度時序建模的維度情感識別方法的流程圖，如圖1所示，所述基于多尺度時序建模的維度情感識別方法包括以下步驟：

步驟1，對于視頻序列中的每幀圖像進行人臉檢測及跟蹤，并根據檢測或跟蹤得到的人臉區域圖像提取對應的人臉關鍵點作為第一類組人臉特征；