[發明專利]一種基于生成式對抗網絡的人臉表情識別方法

有效

• 申請號: 201811332661.9
• 申請日: 2018-11-09
• 公開（公告）號: CN109508669B
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 嚴嚴;黃穎;王菡子
• 申請（專利權）人: 廈門大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廈門南強之路專利事務所(普通合伙) 35200
• 代理人: 馬應森

1.一種基于生成式對抗網絡的人臉表情識別方法，其特征在于包括以下步驟：

1)準備訓練樣本集i＝1,…,N，其中N為樣本的數目，c表示訓練樣本集包含的類別數，N和c為自然數；P_i表示第i個訓練樣本對應的固定大小的圖像；y_i表示第i個訓練樣本的類別標簽：且表示第i個樣本屬于第j類表情；

2)設計一個基于生成式對抗網絡的人臉表情生成網絡并進行預訓練，所述人臉表情生成網絡由一個生成器和兩個判別器構成，其中，在訓練時，一個判別器D_img用于與生成器對抗優化；另一個判別器D_z用于與生成器的編碼器對抗優化，使得輸入圖片經過編碼器編碼后的特征映射到一個均勻分布上；

所述一個判別器D_img由一些卷積層構成，輸入為真實樣本或者生成器生成的樣本，末端有兩個輸出，其中一個輸出用來表示真實樣本或生成樣本的分布，另一個輸出用來表示輸入樣本的類別概率；

所述另一個判別器D_z由一些全連接層構成，輸入為64維的人臉表情特征向量或者在均勻分布上的隨機采樣，輸出為一個概率值，表示輸入是否符合均勻分布的概率；

3)設計一個人臉表情識別網絡；

4)將預訓練的人臉表情生成網絡與人臉表情識別網絡聯合訓練，在訓練時，人臉表情識別網絡接收兩種樣本作為輸入：(1)訓練樣本集中的人臉表情圖；(2)由人臉表情生成網絡生成的隨機人臉表情圖，使用一種類內損失減少真實樣本與生成樣本之間的人臉表情特征差異性；

5)利用訓練好的人臉表情識別模型進行人臉表情識別。

2.如權利要求1所述一種基于生成式對抗網絡的人臉表情識別方法，其特征在于在步驟2)中，所述設計一個基于生成式對抗網絡的人臉表情生成網絡并進行預訓練包括以下子步驟：

(1)網絡的生成器G由一個編碼器G_enc和一個解碼器G_dec組成，編碼器由5個卷積層和一個全連接層構成，編碼器將128×128大小的人臉表情圖編碼成64維的特征向量，表示如下：

g(x)＝G_enc(x)， 公式1

其中，x表示輸入的訓練樣本，g(x)表示人臉表情特征向量；解碼器由一些轉置卷積層構成，解碼器接收一個64維特征向量以及一個類別向量，維度與表情類別數一致，輸出一張在大小、通道上與編碼器的輸入一致的人臉表情圖，表示如下：

其中，表示生成器生成的樣本，y'表示生成樣本的類別向量，[·]表示向量的連接操作；

(2)網絡的一個判別器D_img由一些卷積層構成，輸入為真實樣本或者生成器生成的樣本，末端有兩個輸出，其中一個輸出用來表示真實樣本或生成樣本的分布，計算圖像對抗損失：

公式3

公式4

其中，表示真實樣本的分布，表示生成樣本的分布，表示生成器的圖像對抗損失，表示判別器D_img的圖像對抗損失，表示數學期望，下標τ表示輸給網絡的真實數據，判別器D_img的另一個輸出用來表示輸入樣本的類別概率，計算分類損失：

其中，表示對生成樣本正確分類的概率，y表示真實樣本的類別標簽，表示對真實樣本x正確分類的概率，表示生成器的分類損失，表示判別器D_img的分類損失；

(3)網絡的另一個判別器D_z由一些全連接層構成，輸入為64維的人臉表情特征向量或者在均勻分布上的隨機采樣，輸出為一個概率值，表示輸入是否符合均勻分布的概率，計算向量對抗損失：

其中，z表示在均勻分布上的隨機采樣，表示生成器的向量對抗損失，表示判別器D_z的向量對抗損失；

(4)對生成器生成的圖片，計算重構損失：

其中，||·||₁表示1范數，x^rec表示輸入原圖和原圖的類別向量得到的重構圖，計算如下：

x^rec＝G_dec([g(x),y]) 公式10

計算身份保持損失：

其中，F_id表示人臉身份特征提取器，采用Light CNN-29模型；

(5)生成器G的總損失為：

判別器D_img的總損失為：

判別器D_z的總損失為：

其中，λ₁，λ₂是用于調整損失大小的系數，整個網絡通過WGAN-GP優化。