[發明專利]基于空洞卷積的CNN微表情識別方法

在審

• 申請號: 202010041268.5
• 申請日: 2020-01-15
• 公開（公告）號: CN111274895A
• 公開（公告）日: 2020-06-12
• 發明（設計）人: 錢育蓉;賴振意;陳人和;賈金露
• 申請（專利權）人: 新疆大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 合肥方舟知識產權代理事務所(普通合伙) 34158
• 代理人: 劉躍

本發明公開了一種基于空洞卷積的CNN微表情識別方法，基于空洞卷積神經網絡，在MTCNN和VGG16網絡的基礎上完成人臉微表情的自動獲取與識別功能，通過空洞卷積有效提升網絡感受野，避免圖像邊緣特征及細微特征在卷積過程中丟失，提出感受野更大、識別準確度更高的人臉微表情識別算法具有較高的魯棒性，同時結合人臉表情自動識別，形成一套從人臉檢測與發現到微表情分類的整體框架，利用相似網絡結構從一定程度上避免了人工篩選。

技術領域

本發明屬于微表情識別技術領域，涉及一種微表情識別方法，具體是一種基于空洞卷積的CNN微表情識別方法。

背景技術

微表情是人臉特殊的肌肉動作產生的細微變化，作為一種自然機制的面部行為，無法偽造且反應人類內心真實情感，周期維持在0.04-0.5秒之間，動作幅度細微，肉眼不易發現，在公共安防、心理治療、談判交流預測等領域具備廣泛的應用價值，但由于人工識別受到專業訓練和時間成本的限制，雖然具備專業工具，但通過人力進行識別的效果僅為47％，難以進行大規模推廣。

微表情識別包括人臉識別、人臉校準和微表情分類三個模塊，通過主動形狀模型(Active Shape Model，ASM)和局部二進制模式(Local Binary Pattern，LBP)對微表情進行自動識別,目前，微表情識別的研究主要集中在微表情特征提取及其分類上。

在特征提取上，一方面通過傳統的特征提取方法如LBP算子、HOG特征點獲取的特征通常是圖像淺層特征，雖然這些基于特征的方法從時空紋理的角度充分考慮了人臉表情的變化，但無法有效的描述樣本的結構信息，難以區分高維特征間的關系；另一方面，通過光流法等基于運動特征的特征提取方法完成微表情識別，往往由于光流算法的計算量過大，無法滿足實時分析需求，不能完成大規模的微表情識別；同時，實際拍攝視頻的連續幀間也會存在缺乏足夠灰度等級變化的區域，會存在真實運動漏檢現象。

在微表情分類上，隨著深度網絡的發展，深度神經網絡開始應用于人臉微表情識別過程中，總結現有的微表情分類網絡，隨著層數的不斷增加雖然提取到充分的特征信息，但也增加了神經節點的計算量，在卷積過程中會丟失關鍵的細節特征；同時現有的微表情數據庫都是特定環境下完成視頻幀分割篩選后得到的清晰人臉正向圖像，訓練的模型在實際應用場景下，識別率較測試時普遍下降明顯，實時系統的應用情況欠佳。

發明內容

本發明的目的在于提供一種基于空洞卷積的CNN微表情識別方法，

本發明的目的可以通過以下技術方案實現：

一種基于空洞卷積的CNN微表情識別方法，具體包括以下步驟：

步驟S1，實時采集人臉視頻，送入多任務卷積神經網絡模型。

步驟S2，通過多任務卷積神經網絡模型快速檢測和識別實時人臉視頻中的人臉圖像。

步驟S3，通過人臉自動矯正模塊進行人臉自動矯正，對步驟2中識別的人臉圖像區域進行校正。

步驟S4，通過結合空洞卷積的CNN模型對校正后的人臉圖像進行微表情特征提取。

步驟S5，通過類sofmax分類算法完成微表情實時分析。

步驟S6，輸出微表情識別結果。

進一步地，步驟S2中的人臉檢測和識別包括以下步驟：

步驟S21，攝像頭實時檢測，獲取并傳輸多幀連續人臉視頻圖像。

步驟S22，轉換RGB圖像，獲取圖像參數，包括圖像高度h和寬度w。

步驟S23，定義多任務卷積神經網絡模型的模型參數，包括最小人臉尺寸，模型訓練過程中三個階段的臨界值和模型比例因數。