[發明專利]基于深度卷積神經網絡的異質人臉識別方法

有效

• 申請號: 201610114297.3
• 申請日: 2016-03-01
• 公開（公告）號: CN105608450B
• 公開（公告）日: 2018-11-27
• 發明（設計）人: 譚鐵牛;赫然;孫哲南;劉霄翔
• 申請（專利權）人: 天津中科智能識別產業技術研究院有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 天津市三利專利商標代理有限公司 12107
• 代理人: 韓新城

1.一種基于深度卷積神經網絡的異質人臉識別方法，其特征在于，包括以下步驟：

步驟S1，對預訓練圖像中的人臉圖像及相關的可見光圖像-近紅外圖像進行相同的圖像預處理，得到預設大小的灰度圖像；

步驟S2，用預處理好的可見光圖像對預設深度卷積神經網預訓練，得到人臉的高層次特征表達，得到預訓練的異質人臉識別卷積神經網絡模型；

步驟S3，按預設方法分別以訓練圖像中的近紅外圖像、可見光圖像作為錨點，構建由錨點、正樣本和負樣本組成的跨域近紅外-可見光三元組，并利用所述預訓練的異質人臉識別卷積神經網絡模型從訓練圖像中選取跨域難三元組；

步驟S4，將選取的跨域難三元組輸入所述預訓練的異質人臉識別卷積神經網絡模型進行訓練，得到跨近紅外域和可見光域的統一深層特征表達；

步驟S5,按步驟S3-S4的方法，利用上一輪訓練好的異質人臉識別卷積神經網絡模型，進行下一輪難三元組選擇和訓練，計算異質識別的正確率及真陽性率，多次迭代直到所述異質識別的正確率及真陽性率的評價標準達到最高值，獲得最終的異質人臉識別卷積神經網絡模型；

步驟S6,將近紅外圖像或可見光圖像輸入該最終的異質人臉識別卷積神經網絡模型，通過比較近紅外圖像或可見光圖像與人臉識別系統注冊時圖像庫中的可見光人臉圖像或近紅外圖像高層特征的相似度得分，實現對人臉圖像識別。

2.根據權利要求1所述的基于深度卷積神經網絡的異質人臉識別方法，其特征在于，步驟S1中，所述圖像預處理的步驟如下：

運用人臉檢測器，通過定位圖像關鍵點的坐標進行對齊操作獲得對齊的圖像塊，然后對對齊的圖像塊進行裁剪和縮放，并處理成預設大小的灰度圖像。

3.根據權利要求1或2所述的基于深度卷積神經網絡的異質人臉識別方法，其特征在于，步驟S3中，所述跨域近紅外-可見光三元組的損失用下式來表達：

其中，N為三元組的總數，x_i^a為錨點，x_i^p為正樣本，x_iⁿ為負樣本。

4.根據權利要求3所述的基于深度卷積神經網絡的異質人臉識別方法，其特征在于，步驟S3中，所述的利用所述預訓練的異質人臉識別卷積神經網絡模型從訓練圖像中選取跨域難三元組的步驟是：

將所有訓練圖像輸入所述預訓練的異質人臉識別卷積神經網絡模型中訓練，得到高層次的特征表達，計算近紅外圖像和可見光圖像的相似度得分，將該相似度得分與實際相似度得分不匹配的圖像選出來組成難三元組。

5.根據權利要求4所述的基于深度卷積神經網絡的異質人臉識別方法，其特征在于，步驟S3中，所述跨域難三元組通過以下方法選取：

以訓練圖像中的可見光圖像為錨點，遍歷所有近紅外圖像，并對可見光圖像與近紅外圖像兩者的相似度得分排序，以相似度得分較高且與錨點來自不同ID的近紅外圖像作為難負樣本，相似度得分較低且與錨點來自同一ID的近紅外圖像作為難正樣本，然后以該錨點與一個難正樣本、一個難負樣本組成一類難三元組；

以訓練圖像中的近紅外圖像為錨點，遍歷所有可見光圖像，并對可見光圖像與近紅外圖像兩者的相似度得分排序，以相似度得分較高且與錨點來自不同ID的可見光圖像作為難負樣本，相似度得分較低且與錨點來自同一ID的可見光圖像作為難正樣本，然后以該錨點與一個難正樣本、一個難負樣本組成另一類難三元組。

6.根據權利要求1或5所述的基于深度卷積神經網絡的異質人臉識別方法，其特征在于，步驟S4中，將選取的跨域難三元組輸入所述異質人臉識別深度卷積神經網絡模型訓練后，是通過使該異質人臉識別深度卷積神經網絡模型通過誤差梯度反傳進行參數精調，使該異質人臉識別深度卷積神經網絡模型在學到人臉表達的本質特征的同時，又學到不依賴于近紅外或可見光域的非本質特征，從而得到跨近紅外域和可見光域的統一深層特征表達。

7.根據權利要求1所述的基于深度卷積神經網絡的異質人臉識別方法，其特征在于，步驟S4中，所述異質人臉識別深度卷積網絡模型為三通道的深度卷積網絡模型，該異質人臉識別深度卷積網絡模型的三個通道在每一層共享權重。