[發明專利]一種基于人臉正面化的多姿態人臉識別方法

在審

• 申請號: 202110292442.8
• 申請日: 2021-03-19
• 公開（公告）號: CN113553895A
• 公開（公告）日: 2021-10-26
• 發明（設計）人: 江游;胡瑞敏;王曉晨;劉洋
• 申請（專利權）人: 武漢大學深圳研究院;深圳市新一代信息技術研究院有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 廣東德而賽律師事務所 44322
• 代理人: 柴吉峰

1.一種基于人臉正面化的多姿態人臉識別方法，其特征在于：步驟1，收集各個姿態的人臉圖像作為訓練集，包括非正面人臉圖像集和正面人臉圖像集和分別代表第i個人的非正面人臉圖像和正面人臉圖像，并且已知X_P和X_F對應的身份集為和

步驟2，在訓練階段，把訓練集中的非正面人臉圖像X_P和正面人臉圖像X_F分別輸入到編碼器E，得到姿態不變的特征f_P和f_F；將特征f_P和f_F輸入到解碼器G，得到合成的正面人臉圖像分別為和將合成的正面人臉圖像輸入到編碼器E，到正面人臉特征g；

步驟3，將特征f_P和f_F輸入特征空間的判別器D_f，判斷輸入的特征是來自非正面人臉圖像X_P還是正面人臉圖像X_F；將合成的正面人臉圖像和對應身份的真實正臉Y輸入到圖像空間的判別器D_g，判斷這些輸入圖像的是合成圖像還是非合成圖像；

步驟4，將合成的正面人臉圖像和對應身份的真實正臉Y輸入特征提取器F提取特征，通過損失約束合成正臉保持身份一致性；

步驟5，將步驟3的判別結果、步驟4提取的特征、合成的正面人臉圖像真實正面人臉圖像Y帶入到預先設計好的損失函數中，交替訓練由編碼器E、解碼器G、特征判別器D_f、圖像判別器D_g、特征提取器F構成的模型，直至訓練完成；

步驟6，在測試階段，把任意姿態的非正面人臉圖像X_P輸入到訓練完成的模型，得到合成的正面人臉圖像可以用以后續的人臉識別工作。

2.根據權利要求1所述的一種基于人臉正面化的多姿態人臉識別方法，其特征在于：在步驟1中，所有人臉圖像皆來自數據集Multi-PIE；該數據集的圖像數目超過75萬張，包含337人的在20張光照下15姿態6種表情的圖像，非正面人臉圖像為包含13種姿態20種光照的200人的圖像，記作X_P；正面人臉圖像為包含正面姿態20種光照的200人的圖像，記作X_F。

3.根據權利要求1所述的一種基于生成對抗網絡的人臉正面化方法，其特征在于：在步驟2中，編碼器E采用VGG-19網絡結構提取特征f_P和f_F，f_P和f_F大小分別為h×w×d，在編碼器和解碼器之間利用了skip connection，解碼器每個上采樣層concatenate到對應的編碼器卷積得到的特征層，從而實現對每層特征圖都有效使用。

4.根據權利要求1所述的一種基于生成對抗網絡的人臉正面化方法，其特征在于：在步驟3中，所述判別器D_f是一個以卷積神經網絡為基礎的二分類器，判斷輸入的特征f_P和f_F是來自非正面人臉圖像X_P還是正臉人臉圖像X_F，圖像判別器D_g是一個以ResNet18結構為基礎的分類器，判斷輸入圖像和Y是合成圖像還是真實圖像。

5.根據權利要求1所述的一種基于生成對抗網絡的人臉正面化方法，其特征在于：在步驟4中，特征提取器F是預訓練的的VGG-Face網絡，訓練過程中參數固定不進行更新。