[發(fā)明專(zhuān)利]一種面向邊緣計(jì)算的輕量級(jí)人臉對(duì)比驗(yàn)證方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010195045.4
• 申請(qǐng)日: 2020-03-19
• 公開(kāi)（公告）號(hào): CN111428606B
• 公開(kāi)（公告）日: 2023-03-31
• 發(fā)明（設(shè)計(jì)）人: 龔征;葉開(kāi);魏運(yùn)根;楊順志
• 申請(qǐng)（專(zhuān)利權(quán)）人: 華南師范大學(xué)
• 主分類(lèi)號(hào): G06V40/16
• 分類(lèi)號(hào): G06V40/16;G06V20/40;G06V10/82;G06N3/0464
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 李斌

本發(fā)明公開(kāi)了一種面向邊緣計(jì)算的輕量級(jí)人臉對(duì)比驗(yàn)證方法，包括下述步驟：構(gòu)建輕量級(jí)神經(jīng)網(wǎng)絡(luò)模型MobileNetV3?PiFace，使用ArcFace損失函數(shù)和VGGFace2數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練；從采集到的視頻流中提取幀圖像，對(duì)圖像進(jìn)行人臉檢測(cè)，若有人臉存在，則進(jìn)行人臉圖像預(yù)處理；利用訓(xùn)練好的MobileNetV3?PiFace模型，對(duì)預(yù)處理后的人臉圖像進(jìn)行特征提取；判斷不同人臉特征之間的向量夾角，實(shí)現(xiàn)人臉對(duì)比驗(yàn)證功能。本發(fā)明減少了模型的參數(shù)和規(guī)模，提高了模型在LFW數(shù)據(jù)集上的準(zhǔn)確率，提高了在邊緣計(jì)算設(shè)備上的運(yùn)算速度。系統(tǒng)在終端采集人臉圖像數(shù)據(jù)，在終端本地運(yùn)行神經(jīng)網(wǎng)絡(luò)推理數(shù)據(jù)，這種模式減輕了云端服務(wù)器計(jì)算和網(wǎng)絡(luò)傳輸?shù)膲毫Γ档土苏w延時(shí)，同時(shí)保護(hù)了用戶(hù)隱私。

技術(shù)領(lǐng)域

本發(fā)明屬于深度學(xué)習(xí)的技術(shù)領(lǐng)域，具體涉及一種面向邊緣計(jì)算的輕量級(jí)人臉對(duì)比驗(yàn)證方法。

背景技術(shù)

自從深度學(xué)習(xí)技術(shù)出現(xiàn)以來(lái)，傳統(tǒng)的圖像處理算法效果逐漸被基于深度學(xué)習(xí)的圖像處理算法超越，深度神經(jīng)網(wǎng)絡(luò)使許多計(jì)算機(jī)視覺(jué)任務(wù)效果大幅提升，成為計(jì)算機(jī)視覺(jué)領(lǐng)域廣泛使用的研究方法。在人臉識(shí)別任務(wù)上，相關(guān)的深度學(xué)習(xí)算法發(fā)展迅速，取得了突出的成果。

為了追求更高的準(zhǔn)確率，神經(jīng)網(wǎng)絡(luò)模型被不斷加深，規(guī)模越來(lái)越大，結(jié)構(gòu)越來(lái)越復(fù)雜，運(yùn)行神經(jīng)網(wǎng)絡(luò)需要強(qiáng)大的算力支持。在實(shí)際應(yīng)用中，當(dāng)前通行做法是采用客戶(hù)端和服務(wù)器的設(shè)計(jì)模式，將深度學(xué)習(xí)模型的訓(xùn)練和推理過(guò)程部署在云端計(jì)算中心，客戶(hù)端采集數(shù)據(jù)發(fā)送至云端，云端計(jì)算中心運(yùn)行人工智能算法，將結(jié)果返回至客戶(hù)端。隨著需求的擴(kuò)大和客戶(hù)端的增加，數(shù)據(jù)量也隨之增加，若這些數(shù)據(jù)都交由云端計(jì)算中心處理，大量的數(shù)據(jù)將會(huì)使服務(wù)器面臨網(wǎng)絡(luò)傳輸壓力和算力瓶頸，造成端到端的延遲，難以保障實(shí)時(shí)協(xié)同工作，還將增加數(shù)據(jù)泄露的風(fēng)險(xiǎn)。

現(xiàn)有技術(shù)中的人臉對(duì)比技術(shù)，引入了SE(Squeeze-And-Excite)模塊和新的激活函數(shù)，修改了MobileNetV2的倒置殘差塊，利用平臺(tái)感知的網(wǎng)絡(luò)架構(gòu)搜索技術(shù)和NetAdapt，在指定的硬件平臺(tái)上搜索到了優(yōu)化的模型。MobileNetV3-Small是針對(duì)低資源和低開(kāi)銷(xiāo)而設(shè)計(jì)。但是1、MobileNetV3-Small是通過(guò)神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索技術(shù)得到的通用輕量級(jí)網(wǎng)絡(luò)架構(gòu)，它被提出用于普通視覺(jué)識(shí)別任務(wù)，不是專(zhuān)門(mén)為人臉對(duì)比任務(wù)而設(shè)計(jì)，在人臉對(duì)比驗(yàn)證任務(wù)上準(zhǔn)確率還不夠高。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提供一種面向邊緣計(jì)算的輕量級(jí)人臉對(duì)比驗(yàn)證方法，在網(wǎng)絡(luò)邊緣設(shè)備上部署神經(jīng)網(wǎng)絡(luò)模型，采取本地采集數(shù)據(jù)、離線執(zhí)行任務(wù)的模式，通過(guò)部署輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)模型，使人臉對(duì)比驗(yàn)證過(guò)程能夠在邊緣設(shè)備上快速高效地進(jìn)行。

為了達(dá)到上述目的，本發(fā)明采用以下技術(shù)方案：

一種面向邊緣計(jì)算的輕量級(jí)人臉對(duì)比驗(yàn)證方法，包括下述步驟：

構(gòu)建輕量級(jí)人臉對(duì)驗(yàn)證模型MobileNetV3-PiFace，所述MobileNetV3-PiFace是改進(jìn)了MobileNetV3-Small，所述MobileNetV3-PiFace網(wǎng)絡(luò)結(jié)構(gòu)為：首先對(duì)輸入圖像使用5×5的卷積核進(jìn)行標(biāo)準(zhǔn)卷積，設(shè)置步長(zhǎng)為2進(jìn)行下采樣，隨后連續(xù)地使用Pi-bneck倒置殘差塊，在最后一個(gè)Pi-bneck之后使用1×1卷積特征擴(kuò)展維度，然后參照MobileFaceNets的做法進(jìn)行深度卷積，最后使用兩層1×1卷積達(dá)到全連接層的效果，輸出512維嵌入特征；

利用ArcFace損失函數(shù)和VGGFace2來(lái)訓(xùn)練MobileNetV3-PiFace模型；

從采集到的視頻流中提取幀圖像，對(duì)圖像進(jìn)行人臉檢測(cè)，若有人臉存在，則進(jìn)行人臉圖像預(yù)處理；

將預(yù)處理后的人臉圖像輸入訓(xùn)練好的MobileNetV3-PiFace模型，進(jìn)行特征提取，得到人臉特征向量；

判斷人臉圖像之間的特征向量夾角距離，實(shí)現(xiàn)人臉對(duì)比驗(yàn)證。