[發明專利]一種表情識別方法及裝置

在審

• 申請號: 202210267533.0
• 申請日: 2022-03-17
• 公開（公告）號: CN114612987A
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 蔣召;黃澤元;祁曉婷
• 申請（專利權）人: 深圳集智數字科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京嘉科知識產權代理事務所(特殊普通合伙) 11687
• 代理人: 張艷

1.一種表情識別方法，其特征在于，所述方法包括：

獲取待識別圖像；

根據所述待識別圖像，得到所述待識別圖像的圖像特征圖；

根據所述圖像特征圖，確定全局特征信息和局部特征信息；

根據所述全局特征信息和所述局部特征信息，確定所述待識別圖像的表情類型。

2.根據權利要求1所述的方法，其特征在于，所述方法應用于表情識別模型，所述表情識別模型包括第一神經網絡模型；所述根據所述待識別圖像，得到所述待識別圖像的圖像特征圖，包括：

將所述待識別圖像輸入第一神經網絡模型，得到所述待識別圖像的圖像特征圖；

其中，所述第一神經網絡模型包括若干第一卷積模塊，所述若干第一卷積模塊依次連接，且每個第一卷積模塊包括濾波器、批標準化層、MP模型和激活函數。

3.根據權利要求1所述的方法，其特征在于，所述方法應用于表情識別模型，所述表情識別模型包括全局模型、局部模型；所述根據所述圖像特征圖，確定全局特征信息和局部特征信息，包括：

將所述圖像特征圖輸入全局模型，得到全局特征信息；

將所述圖像特征圖輸入局部模型，得到局部特征信息。

4.根據權利要求3所述的方法，其特征在于，所述全局模型包括第一卷積層、H-Sigmoid激活函數層、通道注意力模塊、空間注意力模塊和第二卷積層；所述將所述圖像特征圖輸入全局模型，得到全局特征信息，包括：

將所述圖像特征圖輸入所述第一卷積層，得到第一特征圖；

將所述第一特征圖輸入所述H-Sigmoid激活函數層，得到第二特征圖；

將所述第二特征圖輸入所述通道注意力模塊，得到通道注意力圖；

將所述通道注意力圖輸入到所述空間注意力模塊，得到空間注意力圖；

將所述空間注意力圖輸入到所述第二卷積層，得到所述全局特征信息。

5.根據權利要求3所述的方法，其特征在于，所述局部模型包括N個局部特征提取卷積層、注意力模塊，其中，N為大于1的正整數；所述將所述圖像特征圖輸入局部模型，得到局部特征信息，包括：

根據所述圖像特征圖，生成N個局部圖像塊；

分別將各個局部圖像塊輸入各個局部特征提取卷積層，得到N個局部特征圖；

將所述N個局部特征圖輸入所述注意力模塊，得到局部特征信息。

6.根據權利要求5所述的方法，其特征在于，所述注意力模塊包括池化層、第二卷積模塊、N個第三卷積層和歸一化層；所述將所述N個局部特征圖輸入所述注意力模塊，得到局部特征信息，包括：

將所述N個局部特征圖進行融合，得到融合特征圖；

將所述融合特征圖輸入所述池化層，得到池化特征圖；

將所述池化特征圖輸入所述第二卷積模塊，得到處理局部特征圖；

將所述處理局部特征圖分別輸入各個第三卷積層，得到N個子局部特征圖；

針對每個子局部特征圖，將該子局部特征圖輸入歸一化層，得到該子局部特征圖對應的權重值；根據該子局部特征圖對應的權重值和局部特征圖，得到該子局部特征圖對應的局部特征圖；

將N個局部特征圖進行融合，得到局部特征信息。

7.根據權利要求5所述的方法，其特征在于，所述根據所述全局特征信息和所述局部特征信息，確定所述待識別圖像的表情類型，包括：

將所述全局特征信息輸入第一全局平均池化層，得到全局池化特征信息；

將所述局部特征信息輸入第二全局平均池化層，得到局部池化特征信息；

將所述全局池化特征信息和所述局部池化特征信息輸入全連接層，得到所述待識別圖像的表情類型。