[發(fā)明專利]基于圖卷積融合網(wǎng)絡(luò)的口罩人臉識別方法、系統(tǒng)及設(shè)備

有效

• 申請?zhí)枺?/td>: 202210266866.1
• 申請日: 2022-03-18
• 公開（公告）號: CN114360033B
• 公開（公告）日: 2022-06-14
• 發(fā)明（設(shè)計）人: 王中元;黃寶金;邵振峰;梁步云;王光成;易鵬;江奎
• 申請（專利權(quán)）人: 武漢大學(xué)
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/25;G06V10/80;G06V10/82;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 武漢科皓知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 肖明洲

本發(fā)明公開了一種基于圖卷積融合網(wǎng)絡(luò)的口罩人臉識別方法、系統(tǒng)及設(shè)備，首先利用改進ResNet?50網(wǎng)絡(luò)對輸入的口罩人臉圖像進行特征表示，同時利用人臉關(guān)鍵點檢測技術(shù)得到輸入人臉的眉眼RoI信息；然后將人臉特征圖和眉眼RoI信息輸入到眉眼區(qū)域池化模塊得到眉眼局部特征以及全局特征，再通過圖卷積融合網(wǎng)絡(luò)得出最終的人臉判別特征；最后，使用ArcFace損失函數(shù)優(yōu)化CNN骨架和圖卷積融合網(wǎng)絡(luò)的參數(shù)，使得最終產(chǎn)生更具判別性的口罩人臉識別特征。本發(fā)明方法有效克服了現(xiàn)有人臉識別方法在口罩遮擋情況下精度低的問題。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機視覺技術(shù)領(lǐng)域，涉及一種戴口罩的人臉識別方法、系統(tǒng)及設(shè)備，具體涉及一種基于圖卷積融合網(wǎng)絡(luò)的口罩人臉識別方法、系統(tǒng)及設(shè)備。

技術(shù)背景

自疫情開始以來，佩戴口罩幾乎是所有國家和地區(qū)居民出行的必備操作。但嚴重的面部遮擋會對人臉識別技術(shù)構(gòu)成嚴重挑戰(zhàn)，受此影響，類似手機解鎖、安檢驗票、閘機通行、安防監(jiān)控等場景應(yīng)用的人臉識別準(zhǔn)確率均會出現(xiàn)不同程度的下降。如何針對面部遮擋和復(fù)雜噪聲進行有效建模，恢復(fù)出真實面部信息，是魯棒人臉識別中重要且具有挑戰(zhàn)性的問題。

美國國家標(biāo)準(zhǔn)與技術(shù)協(xié)會（NIST）的一項研究發(fā)現(xiàn)，戴上足夠覆蓋口鼻的口罩會導(dǎo)致一些最廣泛使用的面部識別算法（包括松下和三星等廠商所設(shè)計的89種面部識別方法）的錯誤率高達5%至50%。遮擋下的人臉識別是業(yè)界公認的難題，口罩人臉作為遮擋人臉的特殊情況，其識別難度具體表現(xiàn)在三方面：1）戴上口罩后，因鼻子、嘴巴等五官信息被遮擋，人臉面部可用于辨別的信息會大幅減少；2）臉部輪廓等可辨別信息在物理分布上不均衡，因此按照傳統(tǒng)思路訓(xùn)練出的人臉識別模型，精度都會出現(xiàn)大幅下降；3）戴口罩的人臉數(shù)據(jù)樣本集很稀缺。

最初的口罩人臉識別算法采用口罩人臉數(shù)據(jù)增廣的方式來提升戴口罩下的人臉識別準(zhǔn)確度，然而，現(xiàn)實生活中存在口罩樣式多樣、口罩遮擋范圍不確定等問題，這些對基于數(shù)據(jù)增廣的口罩人臉識別方法影響較大。自 2021年以來，越來越多研究者開始關(guān)注眼部關(guān)鍵點的判別特征，提升模型在口罩遮擋情況下的表現(xiàn)，這已經(jīng)成為口罩人臉識別的重要發(fā)展趨勢。然而，受限于口罩佩戴方式以及人臉庫規(guī)模，現(xiàn)有的口罩人臉識別技術(shù)并不可靠，有待為戴口罩這種重度遮擋的人臉識別問題探索更有效的方法。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題，本發(fā)明結(jié)合圖卷積網(wǎng)絡(luò)，提供了一種基于圖卷積融合網(wǎng)絡(luò)的口罩人臉識別方法、系統(tǒng)及設(shè)備，通過將口罩人臉的眉眼特征與全局特征融合，提取人臉眉眼部分更具判別性的特征，達到準(zhǔn)確識別戴口罩人臉目的。

本發(fā)明的方法所采用的技術(shù)方案是：一種基于圖卷積融合網(wǎng)絡(luò)的口罩人臉識別方法，包括以下步驟：

步驟1：對口罩人臉圖像進行特征表示，獲得人臉特征圖；

其中，采用改進ResNet-50網(wǎng)絡(luò)，對源于自然拍攝且經(jīng)過人臉對齊后的圖像進行特征提取；所述改進ResNet-50網(wǎng)絡(luò)，是在ResNet-50網(wǎng)絡(luò)中去掉平均池化層和全連接層后獲得的網(wǎng)絡(luò)，通過4個CNN塊學(xué)習(xí)得到四個特征圖，記為F₁，F(xiàn)₂，F(xiàn)₃，F(xiàn)₄；

步驟2：獲取人臉圖像對應(yīng)的眉眼RoI信息；

步驟3：將人臉特征圖和眉眼RoI信息轉(zhuǎn)化為對應(yīng)的眉眼局部特征以及全局特征；所述眉眼局部特征包括左眉特征，右眉特征，左眼特征和右眼特征；

步驟4：融合眉眼局部特征和全局特征，得到最終的人臉判別特征。

本發(fā)明的系統(tǒng)所采用的技術(shù)方案是：一種基于圖卷積融合網(wǎng)絡(luò)的口罩人臉識別系統(tǒng)，包括以下模塊：

模塊1，用于對口罩人臉圖像進行特征表示，獲得人臉特征圖；