[發明專利]一種基于Intral-Class Gap GAN的面部表情識別方法

在審

• 申請號: 202010905875.1
• 申請日: 2020-09-01
• 公開（公告）號: CN112183213A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 劉韻婷;陳亮;吳攀
• 申請（專利權）人: 沈陽理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 沈陽智龍專利事務所(普通合伙) 21115
• 代理人: 周智博;宋鐵軍

1.一種基于Intral-Class Gap GAN的面部表情識別方法，其特征在于：

所述的識別模型構建，包括以下幾個步驟：

(1)、采集人臉不同來源及不同表情的實時圖像；

(2)、將該圖像輸入至Intral-Class Gap GAN神經網絡模型進行識別；

(3)、輸出識別結果；

所述(2)步驟中的Intral-Class Gap GAN神經網絡模型構建方法如下：

(2.1)、采集人臉不同來源及不同表情的歷史圖像；

(2.2)、對采集的人臉圖像進行預處理，構建人臉表情數據集；

(2.3)、針對(2.2)步驟中的數據集中具有類內差距的面部表情識別問題，構建Intral-Class Gap GAN神經網絡模型；

(2.4)、結合輸入圖像與重構圖像之間的像素差異和潛在向量的差異對網絡的生成器和鑒別器進行同時訓練，確保重構圖像與輸入圖像的差異最小。

2.根據權利要求1所述的一種基于Intral-Class Gap GAN的面部表情識別方法，其特征在于：

(2.2)步驟中人臉表情數據集構建方法如下：

S11：以Multi-PIE和JAFFE表情數據集做基礎，通過(2.1)步驟在網絡上下載面部表情圖片，進行自制所需的面部表情數據集，選擇不同國家、不同年齡段、不同職業等人群的abomination、happy，neutral、anxious、surprise and fear 5種面部表情進行實驗，增加了大量具有類內差距的面部表情特征的復雜度該數據集作為網絡訓練的輸入圖像x

S12：幾何歸一化處理所述輸入圖像，并對歸一化處理后的圖像進行人臉檢測；

S13：尺度歸一化所述步驟S12中的處理之后的圖像，統一圖像的尺寸。

3.根據權利要求2所述的一種基于Intral-Class Gap GAN的面部表情識別方法，其特征在于：步驟(2.4)中具體如下：

S14：基于步驟S13中處理的圖像對基于生成對抗的IC-GAN(Intral-Class Gap GAN)神經網絡的面部表情識別網絡模型進行訓練；

S15：對圖像進行數據增強以及數據擴充處理；

S16：對所述網絡模型進行訓練并保存訓練后的網絡模型。

4.根據權利要求2所述的一種基于Intral-Class Gap GAN的面部表情識別方法，其特征在于：：所述步驟S12中包括以下幾個步驟：

S121：針對采集的圖像定特征點[x,y]，對兩只眼睛和鼻子的特征點進行標定，得到特征點的坐標值；

S122：根據人臉上的眼睛的坐標將圖像進行旋轉，以保證人臉方向的一致性，其中人的眼睛的距離為d，兩只眼睛的中點為O；

S123：據標定的特征點和幾何模型確定包含人臉的方框，從O開始，向左和向右分別裁剪d的距離，上下方向分別取0.5d和1.5d的進行裁切。

5.根據權利要求4所述的一種基于Intral-Class Gap GAN的面部表情識別方法，其特征在于：

所述步驟S13中包括以下步驟：

S131：對步驟S123中裁切出來的圖片進行尺度歸一化，將圖像統一resize為256*256像素的圖像，完成對圖像的幾何歸一化。