[發明專利]一種基于空間注意的面部表情識別方法和裝置

有效

• 申請號: 201910935281.2
• 申請日: 2019-09-29
• 公開（公告）號: CN110781760B
• 公開（公告）日: 2022-11-29
• 發明（設計）人: 齊飛;聶海;石光明;王曉甜;牛毅;李甫
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06V30/19
• 代理公司: 北京眾達德權知識產權代理有限公司 11570
• 代理人: 劉杰

1.一種基于空間注意的面部表情識別方法，其特征在于，所述方法包括：

獲得空間注意模塊；

根據所述空間注意模塊，搭建深度特征提取網絡；

在公開的自然面部表情數據集上訓練所述深度特征提取網絡，獲得人臉表情識別模型；

將目標人臉圖像輸入所述人臉表情識別模型進行識別；

其中，所述獲得空間注意模塊，包括：

獲得輸入圖像，將所述輸入圖像的分辨率進行歸一化；

將歸一化之后的輸入圖像進行特征融合，獲得第一融合特征；

對所述第一融合特征進行全局平均池化操作，獲得第一統計量，所述第一統計量為所述歸一化后的輸入圖像的局部描述其的集合；

對所述第一統計量進行激活，獲得調制掩模；

根據所述調制掩模Mark，獲得調制結果；

根據所述調制結果，利用殘差連接獲得空間注意模塊結果，其中，所述空間注意模塊結果的計算公式為：

其中，為所述空間注意模塊結果；為所述空間注意的特征圖；為分辨率為和通道數的輸入圖像。

2.如權利要求1所述的方法，其特征在于，所述根據所述空間注意模塊，搭建深度特征提取網絡，包括：

輸入圖像通過所述空間注意模塊獲取空間關注特征圖；

將所述空間關注圖進行歸一化，獲得所述空間關注圖歸一化結果；

將所述空間關注圖的歸一化結果通過深度神經網絡提取特征；

根據所述特征，獲得深度特征提取網絡。

3.權利要求1所述的方法，其特征在于，所述將歸一化之后的輸入圖像進行特征融合，獲得第一融合特征，包括：

對歸一化之后的輸入圖像進行卷積操作，所述卷積操作為，公示定義為：

其中，為輸入的第通道；為輸出的第個通道；為一個2D的卷積核。

4.如權利要求1所述的方法，其特征在于，所述對所述第一融合特征進行全局平均池化操作，獲得第一統計量，所述第一統計量的計算公式為：

其中，為其統計表達整個圖像的局部描述器的集合；為通道的維數；為信息壓縮操作；為卷積操作；為輸出的第個通道。

5.如權利要求1所述的方法，其特征在于，所述對所述第一統計量進行激活，獲得調制掩模Mark，所述調制掩模的計算公式為：

其中，為ReLU激活函數；為sigmoid激活函數；為具有參數的降維層；為維度增加層；其中，，，為縮減系數。

6.如權利要求1所述的方法，其特征在于，所述根據所述調制掩模，獲得調制結果，所述調制結果是圖像信道Xc和調制掩模M之間的空間相乘的結果，其中，定義為：

其中，表示元素相乘；為第通道的調制結果；索引為通道的維數，和分別是相應的張量和的第個通道。