[發(fā)明專利]基于圖卷積融合網(wǎng)絡(luò)的口罩人臉識別方法、系統(tǒng)及設(shè)備

有效

• 申請?zhí)枺?/td>: 202210266866.1
• 申請日: 2022-03-18
• 公開（公告）號: CN114360033B
• 公開（公告）日: 2022-06-14
• 發(fā)明（設(shè)計）人: 王中元;黃寶金;邵振峰;梁步云;王光成;易鵬;江奎
• 申請（專利權(quán)）人: 武漢大學(xué)
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/25;G06V10/80;G06V10/82;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 武漢科皓知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 肖明洲

1.一種基于圖卷積融合網(wǎng)絡(luò)的口罩人臉識別方法，其特征在于，包括以下步驟：

步驟1：對口罩人臉圖像進(jìn)行特征表示，獲得人臉特征圖；

其中，采用改進(jìn)ResNet-50網(wǎng)絡(luò)，對源于自然拍攝且經(jīng)過人臉對齊后的圖像進(jìn)行特征提取；所述改進(jìn)ResNet-50網(wǎng)絡(luò)，是在ResNet-50網(wǎng)絡(luò)中去掉平均池化層和全連接層后獲得的網(wǎng)絡(luò)，通過4個CNN塊學(xué)習(xí)得到四個特征圖，記為F₁，F(xiàn)₂，F(xiàn)₃，F(xiàn)₄；

步驟2：獲取人臉圖像對應(yīng)的眉眼RoI信息；

步驟3：將人臉特征圖和眉眼RoI信息轉(zhuǎn)化為對應(yīng)的眉眼局部特征以及全局特征；所述眉眼局部特征包括左眉特征，右眉特征，左眼特征和右眼特征；

步驟3的具體實(shí)現(xiàn)包括以下子步驟：

步驟3.1：利用步驟2中得到的眉眼RoI信息對步驟1中得到的三個特征圖（F₂，F(xiàn)₃，F(xiàn)₄）的四個區(qū)域進(jìn)行Roi-Pooling操作，所述四個區(qū)域包括雙眼和雙眉，對于每個區(qū)域得到的三個特征圖F₂，F(xiàn)₃，F(xiàn)₄；

步驟3.2：采用特征級聯(lián)的方式分別將每個區(qū)域?qū)?yīng)的三個階段特征融合為每個區(qū)域?qū)?yīng)的局部特征；

步驟3.3：對步驟1中得到的特征進(jìn)行全局池化操作得到全局特征F_g；

步驟4：融合眉眼局部特征和全局特征，得到最終的人臉判別特征；

步驟4的具體實(shí)現(xiàn)包括以下子步驟：

步驟4.1：構(gòu)建圖；其中，v表示節(jié)點(diǎn)集合，由1個全局節(jié)點(diǎn)和2個局部節(jié)點(diǎn)組成；表示邊集合，由1個全局節(jié)點(diǎn)連接所有的局部節(jié)點(diǎn)的邊組成；局部節(jié)點(diǎn)由特征對組成，全局節(jié)點(diǎn)由全局特征F_g組成，；表示圖結(jié)構(gòu)，其中d表示眉眼特征維度；

步驟4.2：建立圖節(jié)點(diǎn)之間的聯(lián)系，將全局節(jié)點(diǎn)作為圖的第一個節(jié)點(diǎn)，鄰接矩陣定義為：

其中，然后正則化鄰接矩陣為；

步驟4.3：通過圖卷積融合網(wǎng)絡(luò)逐層傳播，融合眉眼局部特征和全局特征，得到最終的人臉判別特征；

所述圖卷積融合網(wǎng)絡(luò)逐層傳播過程如下：

；

其中表示圖特征的第l層，以步驟3中輸出的全局和局部特征作為初始化，表示圖學(xué)習(xí)參數(shù)，表示ReLU激活函數(shù)，整個圖卷積融合網(wǎng)絡(luò)共有3層，最終輸出作為人臉判別特征。

2.根據(jù)權(quán)利要求1所述的基于圖卷積融合網(wǎng)絡(luò)的口罩人臉識別方法，其特征在于：步驟1中，若輸入圖片大小為H×W， H和W分別表示圖像的高度和寬度，則四個特征圖F₁，F(xiàn)₂，F(xiàn)₃，F(xiàn)₄的大小分別為H/2×W/2，H/4×W/4，H/8×W/8，H/16×W/16；將提取的特征記為，其中分別代表圖像的高度、寬度和通道數(shù)。

3.根據(jù)權(quán)利要求1所述的基于圖卷積融合網(wǎng)絡(luò)的口罩人臉識別方法，其特征在于，步驟2的具體實(shí)現(xiàn)包括以下子步驟：

步驟2.1：采用face-alignment人臉關(guān)鍵點(diǎn)檢測方法來提取口罩人臉面部關(guān)鍵點(diǎn)坐標(biāo)；

步驟2.2：人臉關(guān)鍵點(diǎn)坐標(biāo)進(jìn)一步生成眉眼RoI信息，RoI信息表示如下：

其中Pⁱ表示人臉圖像眉眼第i部分的關(guān)鍵點(diǎn)坐標(biāo)集合，分別表示第i部分的關(guān)鍵點(diǎn)的橫坐標(biāo)和縱坐標(biāo)，表示RoI區(qū)域的左上角和右下角坐標(biāo)，代表margin以增加容錯率。