[發明專利]基于輪廓對稱約束生成式對抗網絡的多姿態人臉識別方法

有效

• 申請號: 201810033455.1
• 申請日: 2018-01-15
• 公開（公告）號: CN108334816B
• 公開（公告）日: 2021-11-23
• 發明（設計）人: 歐陽寧;劉力元;林樂平;莫建文;袁華;首照宇;張彤;陳利霞
• 申請（專利權）人: 桂林電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 桂林市華杰專利商標事務所有限責任公司 45112
• 代理人: 劉梅芳

1.基于輪廓對稱約束生成式對抗網絡的多姿態人臉識別方法，其特征是，包括如下步驟：

1)數據預處理：為了建立更好的人臉正臉模板特征，將多姿態人臉數據庫分為訓練圖像和測試圖像，并對訓練圖像和測試圖像進行歸一化處理；

2)輪廓約束生成網絡：首先將正常光照下任意姿態的圖像通過卷積池化處理，輸出的正臉圖像作為生成網絡的輸出，設生成網絡中輸入的人臉圖像為w×h正常光照下任意姿態為x⁰，生成網絡是由兩個卷積層、兩個池化層的卷積神經網絡構成，W_i¹為第一層卷積產生的權重矩陣映射特征圖，為第二層卷積產生的特征圖，V¹、V²分別是第一二層的矩陣池化處理，選用RELU函數，圖像x⁰通過兩層卷積網絡得到的特征圖為x_i²，則：

其中，σ表示激活函數，在生成網絡重構完的圖像中，加入正臉輪廓直方圖來約束全局特征的質量，用正臉圖像f(x,y)的任意像素(i,j)來表示圖像的中心位置，分別計算給定窗口的中心像素在m和n方向上的梯度，W為卷積映射特征圖，通過θ得到圖像坐標的邊緣并與卷積網絡輸出的第三層卷積映射特征圖W³卷積，通過與特征圖x_i²的張量積得到重構正臉的計算y_i：

生成網絡中是以卷積網絡為基礎的重構正臉，采用梯度下降對網絡參數不斷更新反向傳播，即更新的參數Δ表示中間變量，其中為卷積網絡的反向傳播公式，包含了反向傳播誤差項eⁱ和特征變量x^i-1，其中特征變量為前一項的特征，由此可以得到反向傳播誤差eⁱ在各層反向誤差項；

3)對稱約束對抗網絡：對抗網絡為一個類似對比器的判別網絡，通過步驟2)生成網絡輸出的重構圖像的與作為期望輸出的真實人臉正臉數據進行真偽判別代價函數為了使網絡逐漸達到對應樣本的期望輸出，此部分根據判別器重構樣本像素級和真實圖像像素級的判別損失引入L_r融合像素損失函數：

并根據人臉對稱這一特點，對所有輸入的圖像的寬度遮蓋半邊，將右邊坐標逐步遮擋，通過重構樣本圖像相減的絕對值逐步描述特征點，引入針對姿態重構過程中面部糾正的對稱損失L_sl解決可見部分與遮蓋部分重構的對稱性：

所以最終的損失函數是加權公式(3)、公式(4)：L_syn＝L_r+λ₁L_sl+λ₂L_cee，其中，L_cee是交叉熵損失函數，用來限制隱藏的激活函數，λ₁和λ₂是平衡懲罰項的系數，定義了最終損失函數后，采用后向傳播算法交替更新生成網絡和對抗網絡權重和偏差權衡生成網絡和對抗網絡的參數

4)訓練平衡網絡：經過上述3個步驟處理后，網絡單獨交替迭代更新參數，首先的順序是固定生成網絡G、訓練判別網絡D，使判別的準確率最大化，其次的順序是固定判別網絡D、訓練生成網絡G，使判別的準確率最小化，直到判別出與真實數據幾乎一樣的圖像，即無論對于真假樣本，對抗網絡都將輸出的二維矩陣值轉化為一個概率值p；

5)重建與識別：通過平衡生成式對抗網絡，將帶有不同姿態角度的測試圖像輸入到測試好的網絡中，得到生成器的輸出圖像為重建后的圖像，將重建好的正臉圖像和網絡最高隱含層特征分別使用線性判別分析法，即LDA法降維來提取具有判別性的人臉特征，并用最近鄰分類器完成人臉識別。