[發明專利]一種部分遮擋工況下的面部表情識別方法

有效

• 申請號: 202011317662.3
• 申請日: 2020-11-23
• 公開（公告）號: CN112418085B
• 公開（公告）日: 2022-11-18
• 發明（設計）人: 張立軍;蔣秋宇;孟德建;李聰聰
• 申請（專利權）人: 同濟大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/28;G06V10/44;G06V10/77;G06V10/764;G06T5/30;G06T5/40
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 楊宏泰

1.一種部分遮擋工況下的面部表情識別方法，其特征在于，包括以下步驟：

S1：獲取識別對象的未受遮擋面部圖像，計算平均臉信息熵圖，并構建面部投影空間；

S2：獲取同一識別對象的部分遮擋面部圖像，計算部分遮擋面部信息熵圖，并將部分遮擋面部圖像投影到面部投影空間，獲得投影向量；

S3：利用平均臉信息熵圖和受遮擋面部信息熵圖，得到受遮擋區域定位；

S4：利用面部投影空間和受遮擋區域定位，重構得到無遮擋面部重構圖像；

S5：利用無遮擋面部重構圖像中的遮擋區域和部分遮擋面部圖像中的未受遮擋區域，獲得重構后的面部圖像；

S6：對重構后的面部圖像進行特征提取和分類，得到表情識別結果。

2.根據權利要求1所述的一種部分遮擋工況下的面部表情識別方法，其特征在于，所述的步驟S1具體包括：

S11：獲取識別對象的多張未受遮擋面部圖像；

S12：對未受遮擋面部圖像依次進行灰度化、直方圖均衡化和尺寸歸一化處理；

S13：計算識別對象未受遮擋下的平均臉，并繪制成平均臉圖像；

S14：利用平均臉，通過PCA降為構建識別對象的面部投影空間；

S15：計算平均臉圖像對應的平均臉信息熵圖。

3.根據權利要求1所述的一種部分遮擋工況下的面部表情識別方法，其特征在于，所述的步驟S2具體包括：

S21：獲取同一識別對象的部分遮擋面部圖像；

S22：對部分遮擋面部圖像依次進行灰度化、直方圖均衡化和尺寸歸一化處理；

S23：將部分遮擋圖像灰度值向面部投影空間進行投影，得到投影向量；

S23：計算受遮擋面部圖像對應的部分遮擋面部信息熵圖。

4.根據權利要求1所述的一種部分遮擋工況下的面部表情識別方法，其特征在于，所述的步驟S3具體包括：

S31：計算平均臉信息熵圖和受遮擋面部信息熵圖之差，得到熵圖差；

S32：對熵圖差進行二值化形態學處理，獲取受遮擋區域定位。

5.根據權利要求1所述的一種部分遮擋工況下的面部表情識別方法，其特征在于，所述的步驟S4具體為：獲取面部投影空間中部分遮擋圖像灰度值的投影向量和平均臉的灰度向量，根據受遮擋區域定位，將投影向量與平均臉的灰度向量進行疊加，重構得到無遮擋面部重構圖像。

6.根據權利要求1所述的一種部分遮擋工況下的面部表情識別方法，其特征在于，所述的S5具體為：將無遮擋面部重構圖像中的遮擋區域和部分遮擋面部圖像中的未受遮擋區域進行加權，獲得重構后的面部圖像。

7.根據權利要求1所述的一種部分遮擋工況下的面部表情識別方法，其特征在于，所述的特征提取采用Haar-like特征模板，所述的分類采用支持向量機。

8.根據權利要求2所述的一種部分遮擋工況下的面部表情識別方法，其特征在于，所述的步驟S13具體包括：

將識別對象的多張未受遮擋面部圖像的灰度矩陣的每一列依次首尾相連，并通過拉伸轉換成灰度值向量，形成識別對象的總灰度值矩陣，求得平均臉向量，并繪制成平均臉圖像；

所述的步驟S14具體包括：

S141：利用平均臉對圖像進行中心化；

S142：對中心化后的矩陣進行降維，選擇多個正交基，求得特征值與對應的特征向量；

S143：將特征值進行降序排序，取前m個特征值，該m個特征值的和大于特征值總和的95％，并以對應的特征向量作為面部投影空間。