[發明專利]一種基于特征金字塔的人臉表情識別方法及裝置

有效

• 申請號: 202110984965.9
• 申請日: 2021-08-25
• 公開（公告）號: CN113642505B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 魏驍勇;周凱;張栩祿;楊震群
• 申請（專利權）人: 四川大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/44;G06V10/80;G06V10/82;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 成都正煜知識產權代理事務所(普通合伙) 51312
• 代理人: 李龍

1.一種基于特征金字塔的人臉表情識別方法，其特征在于，包括以下步驟：

步驟1：構建卷積注意力模塊cbam，從通道和空間的維度對特征圖進行注意力機制，得到注意力特征圖；

步驟2：構建一個金字塔網絡與卷積注意力模塊cbam融合，使得特征金字塔網絡關注到對表情識別有用的地方，用于過濾輸入圖片無用的背景信息,得到尺度注意力特征圖；

步驟3：通過上采樣或下采樣的方式縮放所有步驟2中得到的尺度注意力特征圖，使其分辨率一致，便于特征加權融合；

步驟4：將步驟3得到的縮放特征圖進行特征加權融合，得到融合特征圖序列；

步驟5：將步驟4得到的融合特征圖送入全連接網絡，得到多個預測結果，最后經過投票，得到最后的預測結果；

步驟1包括以下步驟：

步驟1.1：將輸入的特征圖分別經過最大池化和平均池化，得到兩個特征圖，兩個特征圖分別為最大池化特征圖和平均池化特征圖；

步驟1.2：將步驟1.1得到的兩個特征圖通過一個共享權值的多層感知機進行維度壓縮后相加；

步驟1.3：經過一個sigmoid函數，得到通道注意力特征圖；

步驟1.4：將步驟1.3得到的通道注意力特征圖分別進行基于通道的最大池化和平均池化；

步驟1.5：將步驟1.4得到的兩個特征圖連接后經過一個卷積操作；

步驟1.6：經過一個sigmoid函數得到空間注意力特征圖；

通道注意力可以表示為：

其中，F表示輸入特征圖，AvgPool()和MaxPool()表示平均池化和最大池化，MLP()表示多層感知機，表示sigmoid激活函數：

空間注意力可以表示為

其中，F表示輸入特征圖，AvgPool()和MaxPool()表示平均池化和最大池化，f^7×7表示7×7的卷積，表示sigmoid激活函數;

步驟4包括以下步驟：

將步驟3得到的縮放特征圖進行特征加權融合，得到特征融合圖序列[]，其中金字塔網絡的l層對應的融合特征圖：

+

中的x的上標大于l，則采用下采樣對應的縮放特征圖，x上標比l小，則采用上采樣對應的縮放特征圖，如x上標等于l則采用原有的尺度注意力特征圖；

得到，其中、是由1×1的卷積層與對應的注意力特征圖卷積得到。

2.根據權利要求1所述的一種基于特征金字塔的人臉表情識別方法，其特征在于，步驟2包括以下步驟：

步驟2.1：構建一個金字塔網絡；

步驟2.2：根據網絡結構，將金字塔網絡每個塊后面添加一個步驟1的卷積注意力模塊cbam；

步驟2.3：金字塔網絡得到尺度注意力特征圖。

3.根據權利要求1所述的一種基于特征金字塔的人臉表情識別方法，其特征在于，步驟3包括以下步驟：

步驟3.1：對于上采樣，先通過一個1×1的卷積，使得尺度注意力特征圖的通道數與金字塔網絡第層尺度注意力特征圖的通道數一致；

步驟3.2：通過最近鄰插值、雙線性插值或者是雙三次插值的方法進行上采樣，得到縮放特征圖；

步驟3.3：對于下采樣，使用步長為2的卷積，使得尺度注意力特征圖的通道數與第層尺度注意力特征圖的通道數一致；

步驟3.4：使用池化的操作降低分辨率，得到縮放特征圖，其中l是指金字塔網絡的層數序號。