[發明專利]基于臉部微表情的認知狀態識別系統及方法

在審

• 申請號: 202011051490.X
• 申請日: 2020-09-29
• 公開（公告）號: CN112201343A
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 丁鼐;高佳欣;羅本燕;彭國平
• 申請（專利權）人: 浙江大學;浙江大學醫學院附屬第一醫院
• 主分類號: G16H50/20
• 分類號: G16H50/20;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 杭州裕陽聯合專利代理有限公司 33289
• 代理人: 田金霞

1.一種基于臉部微表情的認知狀態識別系統，其特征在于，包括，數據獲取模塊、數據處理模塊和認知分類模型；

所述數據獲取模塊用于獲取用于訓練的視頻數據，所述視頻數據包含認知狀態正常的測試對象的視頻數據和認知狀態異常的測試對象的視頻數據；

所述數據處理模塊用于對所述視頻數據進行處理，將所述視頻數據截取為固定幀數的短視頻；

所述認知分類模型包括：AU區域劃分模塊、特征提取模塊、預測模塊、檢驗模塊和分類模塊；

將所述數據處理模塊處理好的短視頻輸入所述認知分類模型對其進行訓練；

所述AU區域劃分模塊用于針對短視頻中的每一幀圖像進行面部特征點識別，將每一幀圖像劃分成不同的AU區域；

所述特征提取模塊用于將每一個AU區域輸入對應的CNN，得到相應AU區域的特征向量，將每一幀圖像的所有AU區域的特征向量進行串聯得到每一幀圖像的多標簽AU特征；

所述預測模塊用于將每一幀圖像的多標簽AU特征輸入LSTM網絡進行AU預測，得到每個短視頻對應的不同的AU出現的概率；

所述檢驗模塊用于對所述預測模塊的結果進行顯著性檢驗，確定差異AU；

所述分類模塊用于將認知狀態正常和狀態異常作為類別標簽，將所述差異AU的概率作為特征標簽，使用SVM進行二分類，完成所述認知狀態評估模型訓練工作；

所述數據獲取模塊還用于獲取未知狀態的測試對象的待識別視頻數據并輸入至訓練好的所述認知分類模型；

所述認知分類模型輸出評估結果。

2.根據權利要求1所述的基于臉部微表情的認知狀態識別系統，其特征在于，

所述認知狀態評估模型還包括預處理模塊；

所述預處理模塊用于通過VGG網絡對輸入至所述認知分類模型的短視頻中的每一幀圖像進行預處理后輸入至所述AU區域劃分模塊。

3.根據權利要求1所述的基于臉部微表情的認知狀態識別系統，其特征在于，

所述數據處理模塊將所述視頻數據截取為固定幀數的短視頻，且相鄰的短視頻具有部分重疊幀數。

4.根據權利要求3所述的基于臉部微表情的認知狀態識別系統，其特征在于，

所述數據處理模塊將所述視頻數據截取為固定幀數為n的短視頻，且相鄰的短視頻具有部分重疊幀數為0.1n-0.4n。

5.一種基于臉部微表情的認知狀態識別方法，其特征在于，包含以下步驟：

通過數據獲取模塊獲取用于訓練的視頻數據，所述視頻數據包含認知狀態正常的測試對象的視頻數據和認知狀態異常的測試對象的視頻數據；

通過數據處理模塊對所述視頻數據進行處理，將所述視頻數據截取為固定幀數的短視頻；

搭建認知狀態評估模型并通過處理后的短視頻對所述認知狀態評估模型進行訓練；

再通過所述數據獲取模塊獲取未知狀態的測試對象的待識別視頻數據并輸入訓練好的所述認知狀態評估模型得到評估結果；

所述認知狀態評估模型包括：AU區域劃分模塊、特征提取模塊、預測模塊、檢驗模塊和分類模塊；

所述通過處理后的短視頻對所述認知狀態評估模型進行訓練的具體方法為：

所述數據處理模塊將處理后的短視頻輸入至所述認知狀態評估模型；

通過所述AU區域劃分模塊針對短視頻中的每一幀圖像進行面部特征點識別，將每一幀圖像劃分成不同的AU區域；

通過所述特征提取模塊將每一個AU區域輸入對應的CNN，得到相應AU區域的特征向量，將每一幀圖像的所有AU區域的特征向量進行串聯得到每一幀圖像的多標簽AU特征；

通過所述預測模塊將每一幀圖像的多標簽AU特征輸入LSTM網絡進行AU預測，得到每個短視頻對應的不同的AU出現的概率；

通過所述檢驗模塊對所述預測模塊的結果進行顯著性檢驗，確定差異AU；

將所述差異AU輸入所述分類模塊，將認知狀態正常和狀態異常作為類別標簽，將所述差異AU的概率作為特征標簽，使用SVM進行二分類，完成所述認知狀態評估模型訓練工作。