[發明專利]人臉微表情識別方法、裝置、電子設備及存儲介質

在審

• 申請號: 202211175123.X
• 申請日: 2022-09-26
• 公開（公告）號: CN115601802A
• 公開（公告）日: 2023-01-13
• 發明（設計）人: 張津;劉帥
• 申請（專利權）人: 中國農業銀行股份有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/50;G06V10/82
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 郭李君;臧建明

1.一種人臉微表情識別方法，其特征在于，所述方法包括：

獲取待識別的人臉微表情圖像序列，并對所述人臉微表情圖像序列進行預處理，得到預處理后的人臉微表情圖像序列；

對預處理后的人臉微表情圖像序列的三個正交平面提取哈爾中心局部三值模式HCTP特征，并基于所述HCTP特征確定三個維度上的特征直方圖；所述HCTP特征是在哈爾特征的基礎上結合中心局部三值模式CTP特征得到的圖像特征；

將所述三個維度上的特征直方圖進行標準化處理，并將經過標準化處理的三個特征直方圖串聯成直方圖向量；

將所述直方圖向量輸入到訓練好的基于深度學習的神經網絡模型中進行分類，得到所述人臉微表情圖像序列對應的表情類別。

2.根據權利要求1所述的方法，其特征在于，對所述人臉微表情圖像序列進行預處理，得到預處理后的人臉微表情圖像序列，包括：

通過主動形狀模型算法對所述人臉微表情圖像序列的首個人臉微表情圖像進行關鍵點獲取，得到人臉關鍵點；

利用局部加權平均算法，以所述人臉關鍵點為基準值對所述人臉微表情圖像序列進行差異化處理，得到第一人臉微表情圖像序列；

對所述第一人臉微表情圖像序列進行歐拉放大，并利用高斯濾波算法對經過歐拉放大的第一人臉微表情圖像序列進行降噪處理，得到第二人臉微表情圖像序列；

將所述第二人臉微表情圖像序列進行灰度歸一化處理，得到第三人臉微表情圖像序列。

3.根據權利要求2所述的方法，其特征在于，對預處理后的人臉微表情圖像序列的三個正交平面提取哈爾中心局部三值模式HCTP特征，包括：

針對所述第三人臉微表情圖像序列在每一正交平面上的每個像素，利用編碼模型、特征計算區域以及中心像素區域進行卷積計算，得到該像素的特征計算閾值；其中，所述特征計算區域是以該像素為中心設定的預定義大小的圖像區域；所述中心像素區域是以該像素對應的值設定的預定義大小的像素區域；

根據所述編碼模型、所述特征計算區域的卷積結果、所述中心像素區域的卷積結果和所述特征計算閾值計算所述像素的HCTP特征；

其中，三個正交平面包括XY平面、XT平面和YT平面；所述XY平面用于表示人臉微表情圖像序列的空間信息，所述XT平面用于表示人臉微表情圖像序列沿時間軸的水平方向的運動紋理信息；所述YT平面用于表示人臉微表情圖像序列沿時間軸的垂直方向的運動紋理信息。

4.根據權利要求3所述的方法，其特征在于，將經過標準化處理的三個特征直方圖串聯成直方圖向量，包括：

獲取三個正交平面對應的權重值，并基于所述權重值分別對經過標準化處理的三個特征直方圖進行處理，得到相應的加權特征直方圖；

將所述加權特征直方圖進行串聯，得到直方圖向量。

5.根據權利要求1-4任一項所述的方法，其特征在于，所述方法還包括：

獲取訓練數據集，所述訓練數據集包括人臉微表情圖像序列對應的直方圖向量以及所述直方圖向量對應的表情類別；

根據所述訓練數據集，對基于深度學習的神經網絡模型進行訓練；

其中，所述表情類別包括：高興、傷心、害怕、憤怒、厭惡、驚訝、輕蔑。

6.根據權利要求5所述的方法，其特征在于，根據所述訓練數據集，對基于深度學習的神經網絡模型進行訓練，包括：

將所述訓練數據集中的直方圖向量以及所述直方圖向量對應的表情類別隨機分為訓練集和測試集；

利用所述訓練集對所述基于深度學習的神經網絡模型進行訓練，并利用測試集測試訓練好的基于深度學習的神經網絡模型是否滿足預設條件；

若是，則得到訓練好的基于深度學習的神經網絡模型；

若否，則更新所述三個正交平面對應的權重值，得到更新后的直方圖向量，重新對所述基于深度學習的神經網絡模型進行訓練。