[發明專利]基于臉部微表情的認知狀態識別系統及方法

在審

• 申請號: 202011051490.X
• 申請日: 2020-09-29
• 公開（公告）號: CN112201343A
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 丁鼐;高佳欣;羅本燕;彭國平
• 申請（專利權）人: 浙江大學;浙江大學醫學院附屬第一醫院
• 主分類號: G16H50/20
• 分類號: G16H50/20;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 杭州裕陽聯合專利代理有限公司 33289
• 代理人: 田金霞

本發明公開了一種基于臉部微表情的認知狀態識別系統及方法，該系統包括：數據獲取模塊、數據處理模塊和認知分類模型；數據獲取模塊用于獲取用于訓練的視頻數據；數據處理模塊用于對視頻數據進行處理，將視頻數據截取為固定幀數的短視頻；將數據處理模塊處理好的短視頻輸入認知分類模型對其進行訓練；數據獲取模塊還用于獲取未知狀態的測試對象的待識別視頻數據并輸入至訓練好的認知分類模型；認知分類模型輸出評估結果。本發明的基于臉部微表情的認知狀態識別系統及方法，能夠對測試對象的臉部視頻數據進行分析處理，并自動對該測試對象的認知狀態進行歸類識別。

技術領域

本發明涉及一種基于臉部微表情的認知狀態識別系統及方法。

背景技術

人的臉部可以傳輸信息，它是媒介，是信息傳輸器。臉部表情識別技術是近幾十年來才逐漸發展起來的，由于面部表情的多樣性和復雜性，并且涉及生理學及心理學，表情識別具有較大的難度。

微表情通常發生在一個人試圖隱藏他的真實感受的時候,它是人類心理活動的真實表達,如若被有效捕捉,可以準確評估其心理和生理狀態。所以近年來,微表情檢測與識別工作逐漸引起了學者的關注,但由于微表情強度微弱,容易受環境因素擾動,持續時間短,發生部位區域狹小與不確定,一般傳感器很難捕捉識別,所以微表情識別成為一個熱門的研究領域。

發明內容

本發明提供了一種基于臉部微表情的認知狀態識別系統及方法，采用如下的技術方案：

一種基于臉部微表情的認知狀態識別系統，包括，數據獲取模塊、數據處理模塊和認知分類模型；

數據獲取模塊用于獲取用于訓練的視頻數據，視頻數據包含認知狀態正常的測試對象的視頻數據和認知狀態異常的測試對象的視頻數據；

數據處理模塊用于對視頻數據進行處理，將視頻數據截取為固定幀數的短視頻；

認知分類模型包括：AU區域劃分模塊、特征提取模塊、預測模塊、檢驗模塊和分類模塊；

將數據處理模塊處理好的短視頻輸入認知分類模型對其進行訓練；

AU區域劃分模塊用于針對短視頻中的每一幀圖像進行面部特征點識別，將每一幀圖像劃分成不同的AU區域；

特征提取模塊用于將每一個AU區域輸入對應的CNN，得到相應AU區域的特征向量，將每一幀圖像的所有AU區域的特征向量進行串聯得到每一幀圖像的多標簽AU特征；

預測模塊用于將每一幀圖像的多標簽AU特征輸入LSTM網絡進行AU預測，得到每個短視頻對應的不同的AU出現的概率；

檢驗模塊用于對預測模塊的結果進行顯著性檢驗，確定差異AU；

分類模塊用于將認知狀態正常和狀態異常作為類別標簽，將差異AU的概率作為特征標簽，使用SVM進行二分類，完成認知狀態評估模型訓練工作；

數據獲取模塊還用于獲取未知狀態的測試對象的待識別視頻數據并輸入至訓練好的認知分類模型；

認知分類模型輸出評估結果。

進一步地，認知狀態評估模型還包括預處理模塊；

預處理模塊用于通過VGG網絡對輸入至認知分類模型的短視頻中的每一幀圖像進行預處理后輸入至AU區域劃分模塊。

進一步地，數據處理模塊將視頻數據截取為固定幀數的短視頻，且相鄰的短視頻具有部分重疊幀數。

進一步地，數據處理模塊將視頻數據截取為固定幀數為n的短視頻，且相鄰的短視頻具有部分重疊幀數為0.1n-0.4n。

一種基于臉部微表情的認知狀態識別方法，包含以下步驟：