[發明專利]一種基于對抗消除的人臉表情識別方法

有效

• 申請號: 202110393430.4
• 申請日: 2021-04-13
• 公開（公告）號: CN112990097B
• 公開（公告）日: 2022-11-04
• 發明（設計）人: 楊峰;宋永端;李瑞;張祎文;鐘昊原;張健;潘盛濤;李思雨;余正濤
• 申請（專利權）人: 電子科技大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82;G06N3/04;G06N3/08;G06T3/40
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 陳一鑫

本發明涉及一種基于對抗消除的人臉表情識別方法，涉及計算機視覺領域。首先以一個深度卷積神經網絡為基礎，搭建人臉表情識別網絡，在自然人臉表情數據集上，通過損失函數對該人臉表情識別網絡進行訓練，使人臉表情特征更容易被區分開；然后利用改進的對抗消除方法來主動地消除掉輸入圖像的部分關鍵特征，生成新的數據集來訓練新的具有不同權重分布和特征提取能力網絡，迫使網絡依據更多的特征進行表情分類判別，降低了遮擋等干擾因素對于網絡識別準確率的影響，提升了人臉表情識別網絡的魯棒性；最后采用網絡集成和相對多數投票法獲得最終表情分類的預測結果。本發明不僅提高人臉表情識別網絡的準確率，而且有效地減少遮擋因素對網絡的干擾。

技術領域

本發明涉及計算機視覺計算領域，尤其是一種基于對抗消除的人臉表情識別方法。

背景技術

隨著深度學習的逐步發展和計算機視覺應用領域的不斷擴大，基于實驗室環境下的非自發人臉表情識別已經不再是一個挑戰，學界研究的重點已經轉向在自然條件下的人臉表情識別。自從第一屆自然環境的人臉表情識別競賽EMotiW舉辦以來，越來越多針對自然人臉表情識別的算法和高質量的自然人臉表情數據集被研究者提出。自然環境下的人臉表情會明顯受到光照、遮擋以及任務自身姿態的變化的影響，在自然環境下提取有效的人臉面部表情特征已經成為目前人臉表情識別領域的主要難點之一。盡管自然人臉表情數據集更加貼近真實場景獲取的人臉表情，但由于自然人臉表情數據集樣本偏小，并且存在膚色、光照和遮擋等干擾因素，網絡過擬合現象比較嚴重，對于一些關鍵特征不明顯的圖像，更易出現分類錯誤的情況。

目前，基于注意力機制的人臉表情識別網絡在自然表情數據集上取得了不錯的效果，但是基于注意力機制的人臉表情識別網絡需要人為提供額外的輸入圖像，并且需要大量的注意力子網絡對這些圖像進行特征提取，在訓練過程中，主干網絡和子網絡需要同時運行，因此對計算機資源占用較高。

發明內容

針對上述現有技術中存在的問題，本發明提供了一種基于對抗消除的人臉表情識別的方法，可以結合多種分類網絡的互補性，提升網絡識別的準確率，同時降低遮擋因素的影響。

為實現上述目的，本發明采用的技術方案是：一種基于對抗消除的人臉表情識別的方法，具有以下步驟：

步驟1：數據預處理

獲取自然人臉表情數據集并且將數據集中圖像分為訓練集和測試集，先將輸入圖像進行數據歸一化，并將圖像大小放縮到固定尺寸，再對訓練集圖像進行數據歸一化、水平翻轉、圖像旋轉、圖像裁剪等操作，得到預處理后的數據集。

步驟2：搭建人臉表情識別網絡。

步驟2.1：在VGGNet、ResNet、MobileNet、DenseNet等卷積神經網絡模型中，優選ResNet34模型作為人臉表情識別網絡的主要網絡結構。固定ResNet34模型除最后一層全連接層的所有層，把最后一層全連接層的輸出個數改為人臉表情數據集的類別數n。

步驟2.2：對人臉表情識別網絡進行預訓練，導入Imagenet訓練權重到修改過的ResNet34模型，記為人臉表情識別網絡h_t。設初始人臉表情識別網絡的序號t＝0。

步驟3：將數據集圖像按照步驟1中方式進行預處理，將預處理后的圖像輸入到人臉表情識別網絡，采用如下損失函數來訓練人臉表情識別網絡，當網絡收斂后停止訓練，得到對應的表情的類別預測輸出；損失函數計算公式如下：

其中，批量大小和表情類別數分別為T和n，y_i表示第i個樣本圖像的類別標簽，θ_j表示權重矩陣的第j列和特征之間的夾角，表示權重矩陣的第y_i列和特征之間的夾角，s和m分別表示特征尺度和附加角度邊緣懲罰；