[發明專利]一種部分遮擋工況下的面部表情識別方法

有效

• 申請號: 202011317662.3
• 申請日: 2020-11-23
• 公開（公告）號: CN112418085B
• 公開（公告）日: 2022-11-18
• 發明（設計）人: 張立軍;蔣秋宇;孟德建;李聰聰
• 申請（專利權）人: 同濟大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/28;G06V10/44;G06V10/77;G06V10/764;G06T5/30;G06T5/40
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 楊宏泰

本發明涉及一種部分遮擋工況下的面部表情識別方法，包括以下步驟：S1：獲取識別對象的未受遮擋面部圖像，計算平均臉信息熵圖，并構建面部投影空間；S2：獲取同一識別對象的部分遮擋面部圖像，計算部分遮擋面部信息熵圖，并將部分遮擋表情投影到面部投影空間；S3：利用平均臉信息熵圖和受遮擋面部信息熵圖，得到受遮擋區域定位；S4：利用面部投影空間和受遮擋區域定位，重構得到無遮擋面部重構圖像；S5：利用無遮擋面部重構圖像中的遮擋區域和部分遮擋面部圖像中的未受遮擋區域，獲得重構后的面部圖像；S6：對重構后的面部圖像進行特征提取和分類，得到表情識別結果，與現有技術相比，本發明具有魯棒性高等優點。

技術領域

本發明涉及計算機視覺與模式識別領域，尤其是涉及一種部分遮擋工況下的面部表情識別方法。

背景技術

隨著汽車智能化的發展，駕乘人員與汽車之間的交互問題逐漸成為競爭熱點，諸如差異化人機交互、車內人員情緒檢測、動作檢測、語音語義判斷等。對乘員的情緒進行檢測，最直接的手段就是攝像頭對面部表情的實時捕捉。該手段可以通過在車內安放表情識別器來實現。表情識別器能夠監控并檢測車內人員是否出現了表情上的變化，再依此對車內人員的生理和心理變化進行解讀，由此達成對行駛狀態及車內環境狀態的實時調控。這不僅會提高駕駛過程中的安全性，也可以改善用戶體驗，從而實現人機和諧共駕。

而對于表情識別的研究，其對象通常在實驗室環境下進行信息采集，這類面部圖像的采集要求較高，對于面部遮擋有著嚴格的限制，在這樣高要求的面部圖像采集下，現階段的表情識別才有了較為令人滿意的效果。但是表情識別技術在真實自然環境下面臨的挑戰更為復雜，由于面部可能存在墨鏡，口罩等物品的遮擋，讓很多面部特征提取方法失效，降低識別準確率，現有面部表情識別技術的魯棒性差。

發明內容

本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種部分遮擋工況下的面部表情識別方法，該方法有助于解決現實環境中面部遮擋可能會造成的特征缺失的問題，進一步提升表情識別技術的應用范圍及魯棒性。

本發明的目的可以通過以下技術方案來實現：

一種部分遮擋工況下的面部表情識別方法，包括以下步驟：

S1：獲取識別對象的未受遮擋面部圖像，計算平均臉信息熵圖，并構建面部投影空間；

S2：獲取同一識別對象的部分遮擋面部圖像，計算部分遮擋面部信息熵圖，并將部分遮擋面部圖像投影到面部投影空間，獲得投影向量；

S3：利用平均臉信息熵圖和受遮擋面部信息熵圖，得到受遮擋區域定位；

S4：利用面部投影空間和受遮擋區域定位，重構得到無遮擋面部重構圖像；

S5：利用無遮擋面部重構圖像中的遮擋區域和部分遮擋面部圖像中的未受遮擋區域，獲得重構后的面部圖像；

S6：對重構后的面部圖像進行特征提取和分類，得到表情識別結果。

進一步地，所述的步驟S1具體包括：

S11：獲取識別對象的多張未受遮擋面部圖像；

S12：對未受遮擋面部圖像依次進行灰度化、直方圖均衡化和尺寸歸一化處理；

S13：計算識別對象未受遮擋下的平均臉，并繪制成平均臉圖像；

S14：利用平均臉，通過PCA降為構建識別對象的面部投影空間；

S15：計算平均臉圖像對應的平均臉信息熵圖。

所述的步驟S13，具體包括：

將識別對象的多張未受遮擋面部圖像的灰度矩陣的每一列依次首尾相連，并通過拉伸轉換成灰度值向量，形成識別對象的總灰度值矩陣，求得平均臉向量，并繪制成平均臉圖像；