[發明專利]一種基于深度森林和卷積神經網絡的微表情識別方法

有效

• 申請號: 202010589037.8
• 申請日: 2020-06-24
• 公開（公告）號: CN111814609B
• 公開（公告）日: 2023-09-29
• 發明（設計）人: 劉昆宏;孫蒙新;吳清強;洪清啟;陳俐燕;蘇勁松;姚俊峰
• 申請（專利權）人: 廈門大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/80;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 北京金咨知識產權代理有限公司 11612
• 代理人: 嚴業福

本發明提供了一種基于深度森林和卷積神經網絡的微表情識別方法，所述方法包括：步驟一、采集微表情圖像，使用光流法和光流應變法結合的三維特征作為微表情的特征；步驟二、構造基于深度森林和卷積神經網絡的異質集成模型，將深度森林的重表示特征經過卷積層和卷積神經網絡的深度特征混合形成新的圖像特征，幫助分類器實現判別分類；步驟三、結合當前場景內容和微表情分類，與識別對象進行交互。本發明實現了更高的準確率，相比其他微表情識別算法,集成算法表現出更好的魯棒性。需要更少的參數，訓練時消耗更少的時間和資源，是一種輕量高效的微表情識別方法。

技術領域

本發明屬于計算機領域，具體地，涉及一種基于深度森林和卷積神經網絡的微表情識別方法。

背景技術

在日常生活中，人們利用豐富多樣的方式進行溝通、交流和表達自我。面部情緒、身體動作、語言和文字等方式共同構成了人類的基本交流系統。據實驗統計，人的面部表情通常包含豐富多樣的情緒信息，期間傳遞的信息量約占所有信息量的55％，聲音傳遞的信息量相對少一些，約占38％。對比而言，語言和文字形式這兩種方式在交流溝通中僅僅只能傳遞7％的信息量。表情是人類情緒的外在表現形式，是表達人類真情情感的重要窗口。

人臉的面部表情主要分為宏表情和微表情。通常人們在交流中直接看到的表情被稱為宏表情。宏表情在表達方面擁有三個顯著的特點：第一，它們的表現形式較為夸張，人臉區域運動較為強烈，非常容易被人們察覺；第二，它們的表達過程非常自由，沒有受到主人理性的抑制和隱藏。第三，他們持續時間較長，通常為0.5s～4s之間，容易被儀器記錄下來，因而可以用于研究的實驗數據更多。據研究表明，宏表情的識別正確率均已經超過90％。在某些特定環境中，人們試圖抑制內心的真情實感,甚至做出一些與之完全相反的表情，但是由于人類機體自身的特點，這種偶爾不經意間流露出來的細微表情被科學家稱為微表情。微表情不受人們主觀意識的控制，是一種非主觀意識的面部表情。通常來說，微表情具有兩個特點：(1)持續時間短暫，一般持續時長僅為1/25到1/2秒。(2)面部肌肉運動強度低，微表情僅使用面部部分區域肌肉而且肌肉變化程度較小。

微表情是一種維持時間短、表情變化范圍較小、不易被人捕捉覺察到的面部表情，因而人工識別微表情難度較大，并且可靠性也不能得到保證，因此如何精確識別微表情是亟待解決的問題。傳統微表情識別算法主要利用不同的特征提取器提取微表情特征，之后將提取到的特征輸入到分類器，利用分類器學習訓練樣本。傳統算法提取的特征往往會被現實世界中的不良光照、多重頭部姿態變化以及面部阻擋等問題困擾。目前的微表情識別存在樣本數量少和識別難度大的問題。

發明內容

本發明提供了一種基于深度森林和卷積神經網絡的微表情識別方法，能實現了更高的準確率，相比其他微表情識別算法,集成算法表現出更好的魯棒性。需要更少的參數，訓練時消耗更少的時間和資源，是一種輕量高效的微表情識別方法

為了解決上述問題，本發明提供一種基于深度森林和卷積神經網絡的微表情識別方法，所述方法包括：

步驟一、采集微表情圖像，使用光流法和光流應變法結合的三維特征作為微表情的特征，將光流法得到的光流向量和應變向量拼接形成特征作為算法的輸入，每個圖像都表示為三維光流向量Θ，Θ＝{u,v,ε}∈R³，其中，u表示光流場的水平分量，v表示光流場的垂直分量，ε表示光學應變測量；

步驟二、使用改進的基于多重數據復雜度的ECOC方法處理微表情數據，利用數據復雜度探測數據屬性特點和分布規律，形成線性辨別度最大的正類簇和負類簇，提高分類器對樣本的學習能力，復雜程度較低的區域被認為是有效區域，復雜程度較高的區域被認為是無效區域，妨礙分類識別，應該被剔除,為了區分臉部關鍵區域對整體表情的影響，使用滑動窗口計算圖片的特征復雜度，將圖片的空間信息和數據信息融合，具體使用貪心搜索算法尋找最優的正類簇和負類簇，在貪心搜索算法中使用平均最小類間數據復雜度作為簇劃分好壞的判別標準；