[發明專利]一種基于空間注意的面部表情識別方法和裝置

有效

• 申請號: 201910935281.2
• 申請日: 2019-09-29
• 公開（公告）號: CN110781760B
• 公開（公告）日: 2022-11-29
• 發明（設計）人: 齊飛;聶海;石光明;王曉甜;牛毅;李甫
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06V30/19
• 代理公司: 北京眾達德權知識產權代理有限公司 11570
• 代理人: 劉杰

本發明公開了一種基于空間注意的面部表情識別方法和裝置，通過獲得空間注意模塊；根據所述空間注意模塊，搭建深度特征提取網絡；在公開的自然面部表情數據集上訓練所述深度特征提取網絡，獲得人臉表情識別模型；將目標人臉圖像輸入所述人臉表情識別模型進行識別。解決了現有技術中的面部表情特征提取中對局部細節特征提取不充分的技術問題，達到了在面部表情特征提取時加入了空間注意機制，可以自適應地學習面部特征在空間上權重分配，不僅可以加強面部表情中有鑒別信息區域的權重，還可以降低背景和無關區域的負面影響，提升面部表情識別結果的技術效果。

技術領域

本發明涉及數字圖像處理技術領域，特別涉及一種基于空間注意的 面部表情識別方法和裝置。

背景技術

在人類人際交往中，通過面部表情傳達的信息量達到了傳遞信息總 量的55％以上，這個比例要遠高于通過語言傳播的信息量。面部表情識別 作為人臉識別技術的重要組成部分，在人機交互、心理學研究、遠程教 育管理、公共場所安全監控、電腦游戲、測謊儀、機器人制造、臨床醫 學及醫療、通信和車輛安全駕駛等領域都有著重要的應用需求。

現有的面部表情識別方法一般采用特征提取，然后通過對提取的特 征進行訓練得到的分類器，進而得到最終的表情識別結果。特征提取是 面部表情識別中的關鍵一環。特征的提取方式有很多種，有傳統的LBP、 Gabor、SIFT、FHOG等，也有各種深度學習模型，例如CNN、RNN、DBN等。 基于深度學習的特征提取方法則主要可分為基于整體的方法和基于局部 的方法。基于整體的方法是將面部整體處理，利用深度學習網絡來提取 面部的特征；基于局部的方法則將面部分成幾個區域(如眼角、嘴巴、 臉頰等區域)，然后分別對各個區域提取局部特征，然后特征融合。自然 場景中表情圖像極易受到光照條件、頭部姿勢以及面部遮擋等背景環境 因素帶來的影響。這些方法存在的問題有：一個是提取的特征多為傳統手工設計特征或淺層學習特征，不能滿足現實場景面部表情識別需求； 另一個是對局部細節特征提取不足。

發明內容

本發明提供了一種基于空間注意的面部表情識別方法和裝置，用以 解決現有技術中的面部表情特征提取中對局部細節特征提取不充分的技 術問題。

鑒于上述問題，提出了本申請實施例以便提供一種基于空間注意的 面部表情識別方法和裝置。

第一方面，本發明提供了一種基于空間注意的面部表情識別方法， 所述方法包括：獲得空間注意模塊；根據所述空間注意模塊，搭建深度 特征提取網絡；在公開的自然面部表情數據集上訓練所述深度特征提取 網絡，獲得人臉表情識別模型；將目標人臉圖像輸入所述人臉表情識別 模型進行識別。

優選的，所述獲得空間注意模塊，包括：獲得輸入圖像，將所述輸 入圖像的分辨率進行歸一化；將歸一化之后的輸入圖像進行特征融合， 獲得第一融合特征；對所述第一融合特征進行全局平均池化操作，獲得 第一統計量，所述第一統計量為所述歸一化后的輸入圖像的局部描述其 的集合；對所述第一統計量進行激活，獲得調制掩模；根據所述調制掩模Mark，獲得調制結果；根據所述調制結果，利用殘差連接獲得空間注 意模塊結果。

優選的，所述根據所述空間注意模塊，搭建深度特征提取網絡，包 括：輸入圖像通過所述空間注意模塊獲取空間關注特征圖；將所述空間 關注圖進行歸一化，獲得所述空間關注圖歸一化結果；將所述空間關注 圖的歸一化結果通過深度神經網絡提取特征；根據所述特征，獲得深度 特征提取網絡。

優選的，所述將歸一化之后的輸入圖像進行特征融合，獲得第一融 合特征，包括：對歸一化之后的輸入圖像進行卷積操作，所述卷積操作 為T＝F_tr(X；Θ)，公示定義為：其中，X_c為輸入X的第c通道；T_i為輸出T的第i個通道；Θ_i,c為一個2D的卷積核。

優選的，所述對所述第一融合特征進行全局平均池化操作，獲得第 一統計量，所述第一統計量的計算公式為：