[發(fā)明專利]一種基于復(fù)雜流型結(jié)構(gòu)的人臉識別方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201710935978.0
• 申請日: 2017-10-10
• 公開（公告）號: CN107766811A
• 公開（公告）日: 2018-03-06
• 發(fā)明（設(shè)計）人: 胡浩基;王曰海;蔡成飛;駱陽
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 杭州求是專利事務(wù)所有限公司33200
• 代理人: 劉靜,邱啟旺

技術(shù)領(lǐng)域

本發(fā)明涉及機器學(xué)習(xí)、深度神經(jīng)網(wǎng)絡(luò)科研領(lǐng)域，同時也關(guān)注工業(yè)界的應(yīng)用，尤其涉及一種基于復(fù)雜流型結(jié)構(gòu)的人臉識別方法及系統(tǒng)。

背景技術(shù)

經(jīng)典的人臉檢測算法是基于Harr等人工特征設(shè)計的，主要存在漏檢、錯檢等問題，多姿態(tài)人臉檢測效果更差。近年來采用深度神經(jīng)網(wǎng)絡(luò)的方法在人臉檢測的性能上取得了大幅度的提高。深度神經(jīng)網(wǎng)絡(luò)認(rèn)為樣本數(shù)據(jù)是通過層次性的特征組合而成的，只利用k個樣本就可以對樣本空間作O(2^k)個劃分，模型復(fù)雜度更高。利用CNN強大的特征表達(dá)能力，構(gòu)建多層卷積神經(jīng)網(wǎng)絡(luò)，逐層提取邊緣等底層特征、局部圖像塊、具有明顯語義特征的人臉部件等。為了提高速度，先對圖像做降采樣，利用低分辨率的圖像迅速縮小候選人臉數(shù)目；接著不斷提高分比率，進一步排除虛檢，最后得到檢測結(jié)果。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對有高冗余度的高維人臉數(shù)據(jù)和它所具有的流形的結(jié)構(gòu)，提供了一種基于復(fù)雜流型結(jié)構(gòu)的人臉識別方法，并且在小型化的硬件上實現(xiàn)了此方法。

為實現(xiàn)上述技術(shù)目的，具體采用的技術(shù)方案如下：一種基于復(fù)雜流型結(jié)構(gòu)的人臉識別方法，該方法包括以下步驟：

(1)輸入待識別圖片，記為IMG送入人臉檢測器；

(2)目標(biāo)人臉檢測：使用改進的MTCNN算法對IMG進行人臉檢測，若IMG中沒有檢測到人臉，則返回步驟(1)輸入下一幅待識別圖像，若從IMG中檢測到人臉A，則標(biāo)記出其人臉框Rect(x,y,h,w)，x,y,h,w分別是人臉框的定位點(可以為任何一個角點或者中心點)的橫縱坐標(biāo)和人臉框的長寬，以及關(guān)鍵點位置Point(p1,...,pm)，其中m≥2(關(guān)鍵點可以選自右眼、左眼、鼻子、右嘴角、左嘴角位置等)；然后將人臉框Rect截取出來，得到人臉Face1；所述改進的MTCNN算法脫離服務(wù)器端的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)(例如Caffe、TensorFlow等)，基于C++相關(guān)庫和Armadillo矩陣加速庫實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)的前饋網(wǎng)絡(luò)，更加快速有效地實現(xiàn)人臉關(guān)鍵點檢測；

(3)目標(biāo)人臉特征及人臉特征數(shù)據(jù)庫建立：將關(guān)鍵點Point和截取的人臉Face1一起送入基于流型結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)，通過分類監(jiān)督信號使得網(wǎng)絡(luò)學(xué)習(xí)到在歐氏空間可分的低維(可以選擇320維、1024維等)人臉特征向量Feat(1)；將人臉特征向量Feat(1)標(biāo)記為屬于A的基準(zhǔn)比對特征，存到人臉特征數(shù)據(jù)庫中，最終建立存有若干人臉特征向量的人臉特征數(shù)據(jù)庫Feat(1…n)，并設(shè)置驗證閾值Threshold；所述流型結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)在ResNet基礎(chǔ)上使用模型壓縮技術(shù)，降低網(wǎng)絡(luò)的參數(shù)，實現(xiàn)網(wǎng)絡(luò)的加速；

(4)人臉特征比對與判定：讀取待驗證的圖像，根據(jù)步驟(2)中的方法，若檢測到人臉，則將該人臉對應(yīng)的關(guān)鍵點Point和通過人臉框截取的人臉Face2送入同步驟(3)的卷積神經(jīng)網(wǎng)絡(luò)，得到與步驟(3)維度相同的人臉特征向量Feat(n+1)；直接比對Feat(n+1)與人臉特征數(shù)據(jù)庫Feat(1…n)中的所有人臉特征向量的歐式L2距離；取比對計算結(jié)果最小的一項，若該項小于驗證閾值Threshold，則認(rèn)為Face2在人臉特征數(shù)據(jù)庫中已注冊，通過驗證，否則拒絕驗證。

進一步地，所述步驟(1)中，圖像的獲取方式為：從視頻流中讀取，從現(xiàn)有的人臉數(shù)據(jù)庫中讀取，或者通過攝像頭采集；所述步驟(4)中，在比對之前，還包括對人臉特征向量Feat(n+1)和人臉特征數(shù)據(jù)庫Feat(1…n)進行降維的步驟，比如降到32維或64維，以進一步減少計算量。

一種基于復(fù)雜流型結(jié)構(gòu)的人臉識別系統(tǒng)，使用了復(fù)雜的高準(zhǔn)確率的神經(jīng)網(wǎng)絡(luò)檢測和識別方法，并且實現(xiàn)了加速后的前饋網(wǎng)絡(luò)，在小型嵌入式平臺上實現(xiàn)了之前不可能在小型化硬件板中實現(xiàn)的算法；該系統(tǒng)在RK3288系列嵌入式平臺上實現(xiàn)，使用QT實現(xiàn)GUI交互界面；RK3288系列嵌入式平臺在1.61GHz的主頻下，空閑時最高幀率為15FPS，需要進行人臉檢測時最高幀率為10FPS，滿足現(xiàn)實場景中人臉識別需求；該系統(tǒng)包括圖像獲取模塊、人臉檢測模塊、人臉特征獲取模塊，人臉比對模塊和人臉特征數(shù)據(jù)庫：

所述圖像獲取模塊通過攝像頭采集圖像IMG，將采集的圖像輸入人臉特征獲取模塊；