[發明專利]一種基于復雜流型結構的人臉識別方法及系統

在審

• 申請號: 201710935978.0
• 申請日: 2017-10-10
• 公開（公告）號: CN107766811A
• 公開（公告）日: 2018-03-06
• 發明（設計）人: 胡浩基;王曰海;蔡成飛;駱陽
• 申請（專利權）人: 浙江大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 杭州求是專利事務所有限公司33200
• 代理人: 劉靜,邱啟旺

1.一種基于復雜流型結構的人臉識別方法，其特征在于，該方法包括以下步驟：

(1)輸入待識別圖片，記為IMG送入人臉檢測器；

(2)目標人臉檢測：使用改進的MTCNN算法對IMG進行人臉檢測，若IMG中沒有檢測到人臉，則返回步驟(1)輸入下一幅待識別圖像，若從IMG中檢測到人臉A，則標記出其人臉框Rect(x,y,h,w)，x,y,h,w分別是人臉框的定位點的橫縱坐標和人臉框的長寬，以及關鍵點位置Point(p1,...,pm)，其中m≥2；然后將人臉框Rect截取出來，得到人臉Face1；所述改進的MTCNN算法脫離服務器端的卷積神經網絡架構，基于C++相關庫和Armadillo矩陣加速庫實現卷積神經網絡的前饋網絡，更加快速有效地實現人臉關鍵點檢測；

(3)目標人臉特征及人臉特征數據庫建立：將關鍵點Point和截取的人臉Face1一起送入基于流型結構的卷積神經網絡，通過分類監督信號使得網絡學習到在歐氏空間可分的低維人臉特征向量Feat(1)；將人臉特征向量Feat(1)標記為屬于A的基準比對特征，存到人臉特征數據庫中，最終建立存有若干人臉特征向量的人臉特征數據庫Feat(1…n)，并設置驗證閾值Threshold；所述流型結構的卷積神經網絡在ResNet基礎上使用模型壓縮技術，降低網絡的參數，實現網絡的加速；

(4)人臉特征比對與判定：讀取待驗證的圖像，根據步驟(2)中的方法，若檢測到人臉，則將該人臉對應的關鍵點Point和通過人臉框截取的人臉Face2送入同步驟(3)的卷積神經網絡，得到與步驟(3)維度相同的人臉特征向量Feat(n+1)；直接比對Feat(n+1)與人臉特征數據庫Feat(1…n)中的所有人臉特征向量的歐式L2距離；取比對計算結果最小的一項，若該項小于驗證閾值Threshold，則認為Face2在人臉特征數據庫中已注冊，通過驗證，否則拒絕驗證。

2.根據權利要求1所述的一種基于復雜流型結構的人臉識別方法，其特征在于，所述步驟(1)中，圖像的獲取方式為：從視頻流中讀取，從現有的人臉數據庫中讀取，或者通過攝像頭采集；所述步驟(4)中，在比對之前，還包括對人臉特征向量Feat(n+1)和人臉特征數據庫Feat(1…n)進行降維的步驟，以進一步減少計算量。

3.一種基于復雜流型結構的人臉識別系統，其特征在于，該系統在RK3288系列嵌入式平臺上實現，使用QT實現GUI交互界面；RK3288系列嵌入式平臺在1.61GHz的主頻下，空閑時最高幀率為15FPS，需要進行人臉檢測時最高幀率為10FPS，滿足現實場景中人臉識別需求；該系統包括圖像獲取模塊、人臉檢測模塊、人臉特征獲取模塊，人臉比對模塊和人臉特征數據庫：

所述圖像獲取模塊通過攝像頭采集圖像IMG，將采集的圖像輸入人臉特征獲取模塊；

所述人臉檢測模塊使用改進的MTCNN算法對IMG進行人臉檢測，若IMG中沒有檢測到人臉，重新調用圖像獲取模塊，若檢測到人臉A，則標記出其人臉框Rect和關鍵點Point，將通過人臉框Rect截取的人臉Face1輸入到人臉特征獲取模塊；所述改進的MTCNN算法脫離服務器端的卷積神經網絡架構，擺脫使用深度學習框架的繁雜的軟件依賴，基于C++相關庫和Armadillo矩陣加速庫實現卷積神經網絡的前饋網絡，不需要反向傳播的計算；通過降低MTCNN判決閾值降低運算量，更加快速有效地實現人臉關鍵點檢測；

所述人臉特征獲取模塊將人臉A關鍵點Point和人臉Face1一起送入基于流型結構的卷積神經網絡，通過分類監督信號使得網絡學習到在歐氏空間可分的低維人臉特征向量Feat(1)；若執行注冊操作，則將人臉特征向量存到人臉特征數據庫中，若執行驗證操作，則調用人臉比對模塊；

所述人臉比對模塊計算待驗證的圖像對應的人臉特征向量與人臉特征數據庫中所有的人臉特征向量的歐式L2距離，取距離計算結果最小的一項，若該項小于驗證閾值Threshold，則認為該圖像在人臉特征數據庫中已注冊，通過驗證，否則拒絕驗證；

所述人臉特征數據庫中存儲所有注冊的人臉特征向量，并設置驗證閾值Threshold。