[發明專利]基于面部神態識別的老年人身心狀態實時評估方法與系統

在審

• 申請號: 202210163068.6
• 申請日: 2022-02-22
• 公開（公告）號: CN114639140A
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 王若梅;周凡;蘇卓
• 申請（專利權）人: 中山大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于面部神態識別的老年人身心狀態實時評估方法，其特征在于，所述方法包括：

搭建基于注意力模塊的面部表情識別網絡框架，所述基于注意力模塊的面部表情識別網絡框架包括圖像序列、三維卷積Conv3D、三維殘差塊3D Residual Block、全連接層FC、基于交叉熵損失的Softmax分類器Softmax、高效注意力模塊EAM Block；

根據用戶的需求構建訓練數據集，在收集大量的老人面部表情的視頻之后，給它們標上憤怒、厭惡、恐懼、快樂、悲傷或驚訝的正確標簽，即構造出訓練數據集；

將構建好的所述訓練數據集輸入所述基于注意力模塊的面部表情識別網絡中，得到估計的情緒標簽，之后利用構建好的交叉熵損失函數計算估計的情緒標簽和視頻正確的情緒標簽之間的損失，然后反向更新網絡模型的參數，重復該步驟多次得到訓練好的面部表情識別模型；

將待處理的老人面部表情的視頻輸入所述訓練好的面部表情識別模型中，得到輸出的情緒標簽，根據標簽確定老人的情緒或身心狀態。

2.如權利要求1所述的基于面部神態識別的老年人身心狀態實時評估方法，其特征在于，所述搭建基于注意力模塊的面部表情識別網絡框架，所述基于注意力模塊的面部表情識別網絡框架包括圖像序列、三維卷積Conv3D、三維殘差塊3D Residual Block、全連接層FC、基于交叉熵損失的Softmax分類器Softmax、高效注意力模塊EAM Block，具體為：

所述基于注意力模塊的面部表情識別網絡框架的輸入是圖像序列I∈R^H×W×T×3，即包含老人面部表情的視頻，其中T表示視頻的幀數，3表示視頻一幀的通道數為3，輸出是情緒標簽，設置情緒標簽為憤怒、厭惡、恐懼、快樂、悲傷和驚訝六個標簽；

設計所述三維卷積操作，用于提取淺層特征，所述淺層特征屬于動態特征，是一種包含時間維度的視頻特征，用其表示面部表情視頻中的面部元素、肌肉運動等信息，將提取的特征記作C_out表示輸出的通道數，取32，后續包含三個三維殘差塊以及三個EAM注意力模塊，最后再經過全連接層的操作以及Softmax層的計算之后得到網絡識別的情緒標簽；

設計所述三維殘差塊結構，所述結構包括兩個卷積層操作，每個卷積層操作之后都進行批處理歸一化BatchNormal和ReLU非線性激活函數，設該結構為第i(i＝1,2,3)個三維殘差塊結構，其輸入為上一層EAM模塊或是卷積提取的特征V_i-1，輸出的特征V_i^R傳入EAM注意力模塊，殘差網絡架構通過增加網絡深度提高圖像分類性能，從而緩解相對較小的訓練數據集的問題；

設計所述高效注意力模塊EAM Block，所述高效注意力模塊包括通道高效注意力模塊EAM-S和時間高效注意力模塊EAM-T；

設計所述全連接層和Softmax分類器，經過Softmax分類器處理之后得到一個六維的向量，六個維度表示六個不同的情緒，向量的每個元素都是一個概率值，表示老人處于對應心情的概率，概率最大的元素即老人當前的主要情緒。