[發明專利]基于深度學習的人臉檢索系統及方法

在審

• 申請號: 201710032351.4
• 申請日: 2017-01-16
• 公開（公告）號: CN106777349A
• 公開（公告）日: 2017-05-31
• 發明（設計）人: 何元烈;陳佳騰;任萬靈
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/00
• 代理公司: 廣東廣信君達律師事務所44329
• 代理人: 楊曉松

技術領域

本發明涉及機器視覺與人臉檢索領域，具體涉及基于深度學習的人臉檢索系統及方法。

背景技術

自從krizhevsky等人提出基于深度學習理論的深度卷積神經網絡Alexnet后，圖像識別領域進入了新的紀元。深度卷積神經網絡通過卷積運算由淺入深的提取圖像的不同層次的特征，并通過學習算法使網絡自動的調節卷積核的參數進行學習，在圖像分類和識別上已經取得了顯著效果。

目前的人臉檢索系統主要由人臉圖像的預處理、特征提取和特征匹配三個步驟組成。預處理過程需要對人臉進行檢測，這一部分的技術已較為成熟，這里不再贅述。特征提取就是從圖像中把圖像自身的內容信息提取出來，完成圖像的量化，使用戶可以據此進行圖像檢索。目前常用的圖像特征有SIFT、SURF和PCA-SIFT等。但是在不同的光照、人物姿態、表情影響之下，人臉信息在模式上變化較大；有些人物由于臉部戴有裝飾物，如胡須、眼鏡等，造成人臉信息扭曲；人臉圖像的拍攝角度往往多種多樣，同一個人臉在不同角度拍攝條件下得到的圖像差別很大。這些手工特征不能很好的表征上述情況下的圖像。此外，上述提取到的特征維度往往較高，很容易造成維度災難，這樣會大大較低人臉檢索的速度，不能實時返回查詢的結果。

與本發明最相近的方法有汪昀[1]等人提出的方法，其首先提取人臉圖像的特征，通過建立投影矩陣將特征從歐幾里德空間映射到漢明空間實現降維，采用改進的多比特編碼方法對降維后的特征進行編碼并生成圖像簽名，以曼哈頓距離取代漢明距離衡量簽名之間的相似度；然后根據圖像庫中每張圖像的簽名構建倒排索引表；最后通過倒排索引表高效地查找與查詢圖像相近的圖像作為檢索結果。

[1]汪昀.海量人臉圖像快速檢索方法研究與實現[D].中國科學技術大學，2014.

[2]Wu X，He R，Sun Z，et al.A Light CNN for Deep Face Representation with Noisy Labels[J].Computer Science，2016.

[3]Sun Y，Wang X，Tang X.Deep Learning Face Representation from Predicting 10,000Classes[J].2014：1891-1898.

[4]Lin K，Yang HF，Hsiao JH，et al.Deep learning of binary hash codes for fast image retrieval[C]//IEEE Conference on Computer Vision and Pattern Recognition Workshops.2015：27-35.

[5]王利卿，黃松杰.基于多尺度卷積神經網絡的圖像檢索算法[J].軟件導刊，2016，15(2)：38-40.

[6]楊之光，艾海舟.基于聚類的人臉圖像檢索及相關反饋[J].Acta Automatica Sinica，2008，34(9)：1033-1039.

[7]劉洋.基于深度學習的圖像檢索技術研究[D].華中科技大學，2015.

發明內容

本發明的目的在于克服現有技術的缺點與不足，針對這些問題，本系統使用了卷積神經網絡提取到的特征，表征性強，對不同環境下的人臉有很好的表征能力；維度低，可以加快檢索速度。此外，本系統采用了粗檢索和細檢索的特征匹配方式，大大加快了人臉圖像的檢索速度。

本發明方法涉及機器視覺與人臉檢索，即通過攝像頭捕獲圖像，然后利用卷積神經網絡提取圖像特征，最后利用這些特征找到數據庫中類似的圖像的過程。

一種基于深度學習的人臉檢索方法，其特征在于包含以下步驟：

檢索模型的訓練：使用caffe深度學習框架訓練模型，采用梯度下降的方式優化模型參數，得出檢索模型；

人臉特征的提取：先將訓練集中所有人的圖片喂到神經網絡中，進行前饋過程，保存第一個全連接層和第二個全連接層的輸出；

人臉注冊：充分提取注冊者在不同光照，不同姿態下的特征向量和哈希編碼；

人臉檢索：提取出待檢索人臉圖像的哈希編碼和特征向量，然后將其與訓練集中的圖片進行比對，采用哈希編碼粗檢索和特征向量細檢索相結合的檢索方式，經過粗檢索和細檢索后得到最相似的人臉圖像，并輸出對應的相似度值。

所述步驟二中將第一個全連接層的輸出作為人臉圖像的特征向量用于細檢索，將第二個全連接層的輸出作為人臉圖像的哈希編碼用于粗檢索。