[發明專利]一種基于生成式對抗網絡的抗表情干擾的人臉識別方法

有效

• 申請號: 201910403839.2
• 申請日: 2019-05-15
• 公開（公告）號: CN110276252B
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 王韜;蔣天夫
• 申請（專利權）人: 北京大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 莎日娜

1.一種基于生成式對抗網絡的抗表情干擾的人臉識別方法，其特征在于，包括以下步驟：

S11：獲得樣本集合，該樣本集合包括來自多位訓練參與者的樣本圖片，針對多位訓練參與者中的每位訓練參與者，該訓練參與者的樣本圖片中包括至少一張不帶表情的樣本圖片和至少一張帶有表情的樣本圖片，每張樣本圖片攜帶標記，該標記用于表征該樣本圖片對應的訓練參與者的身份、該樣本圖片是否帶有表情以及該樣本圖片的人臉特征向量；

S12：將所述樣本集合中的帶有表情的樣本圖片輸入待訓練的生成器，生成合成圖片；

S13：將所述合成圖片和所述樣本集合中的至少一張樣本圖片輸入待訓練的判別器中，以訓練該判別器，并得到更新后的判別器；

S14：將所述樣本集合中的帶有表情的樣本圖片輸入所述待訓練的生成器，再次生成合成圖片；

S15：將所述再次生成的合成圖片、以及該再次生成的合成圖片對應的測試參與者的不帶表情的樣本圖片輸入所述更新后的判別器中，以得到所述更新后的判別器所產生的反饋值，并根據所述反饋值，對所述待訓練的生成器進行更新，得到更新后的生成器；

S16：以更新后的生成器作為待訓練的生成器，多次重復S12至S15，得到訓練后的生成器和訓練后的判別器；

S17：將待識別圖片輸入所述訓練后的生成器，得到不帶表情的待識別圖片；

S18：將所述不帶表情的待識別圖片輸入人臉識別系統，以識別所述待識別圖片中的人物。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

獲取多張樣本圖片，所述多張樣本圖片來自多位訓練參與者，針對多位訓練參與者中的每位訓練參與者，該訓練參與者的樣本圖片中包括至少一張不帶表情的樣本圖片和至少一張帶有表情的樣本圖片；

針對所述多張樣本圖片中的每張樣本圖片，提取該樣本圖片的人臉特征向量；

針對所述多張樣本圖片中的每張樣本圖片，對該樣本圖片標注對應的訓練參與者的身份、是否帶有表情以及對應的人臉特征向量，從而使該樣本圖片攜帶所述標記。

3.根據權利要求2所述的方法，其特征在于，所述待訓練的生成器包括圖片編碼模塊和圖片解碼模塊，所述圖片編碼模塊用于從輸入的圖片中提取圖片特征向量，所述圖片解碼模塊用于根據輸入的圖片特征向量，生成合成圖片；

將所述樣本集合中的帶有表情的樣本圖片輸入待訓練的生成器，生成合成圖片，包括：

針對所述樣本集合中的帶有表情的樣本圖片，執行以下步驟：

將該樣本圖片輸入所述圖片編碼模塊，得到第一圖片特征向量；

將該樣本圖片的人臉特征向量與所述第一圖片特征向量結合，得到第二圖片特征向量；

將所述第二圖片特征向量輸入所述圖片解碼模塊，生成所述合成圖片。

4.根據權利要求3所述的方法，其特征在于，所述待訓練的生成器還包括人臉特征點編碼模塊，用于對輸入的人臉特征向量進行降維；

將該樣本圖片的人臉特征向量與所述第一圖片特征向量結合，得到第二圖片特征向量，包括：

將該樣本圖片的人臉特征向量作為原人臉特征向量，輸入所述人臉特征點編碼模塊，得到降維后的人臉特征向量；

將所述降維后的人臉特征向量的副本與所述第一圖片特征向量結合，得到第二圖片特征向量。

5.根據權利要求4所述的方法，其特征在于，所述待訓練的生成器還包括人臉特征點解碼模塊，用于對降維后的人臉特征向量進行升維；所述方法還包括：

將所述降維后的人臉特征向量輸入所述人臉特征點解碼模塊，得到新人臉特征向量；

對比所述新人臉特征向量和所述原人臉特征向量，根據所述新人臉特征向量和所述原人臉特征向量之間的第一相似度，確定所述人臉特征點編碼模塊和所述人臉特征點解碼模塊是否運行正常。