[發(fā)明專利]用于人臉遮擋檢測(cè)的多標(biāo)簽深度卷積神經(jīng)網(wǎng)絡(luò)方法、裝置和電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202110481019.2
• 申請(qǐng)日: 2021-04-30
• 公開(kāi)（公告）號(hào): CN113392699A
• 公開(kāi)（公告）日: 2021-09-14
• 發(fā)明（設(shè)計(jì)）人: 黎李強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 深圳市安思疆科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/04;G06N3/08
• 代理公司: 杭州天勤知識(shí)產(chǎn)權(quán)代理有限公司 33224
• 代理人: 米志鵬

本發(fā)明公開(kāi)一種用于人臉遮擋檢測(cè)的多標(biāo)簽深度卷積神經(jīng)網(wǎng)絡(luò)方法、裝置和電子設(shè)備，包括：獲取待檢測(cè)的人臉圖像；對(duì)所述人臉圖像進(jìn)行檢測(cè)得到人臉信息，包括人臉框和人臉關(guān)鍵點(diǎn)；將所述的人臉關(guān)鍵點(diǎn)與預(yù)設(shè)的人臉關(guān)鍵點(diǎn)進(jìn)行仿射變換對(duì)齊，取裁剪后的人臉圖像；將裁剪后的人臉圖像輸入預(yù)訓(xùn)練的人臉遮擋檢測(cè)模型進(jìn)行識(shí)別，得到待測(cè)人臉圖像的遮擋信息。本發(fā)明的方法可以檢測(cè)出具體的人臉區(qū)域是否存在遮擋，并輸出人臉8個(gè)區(qū)域的遮擋程度分?jǐn)?shù)，有效地驗(yàn)證人臉遮擋檢測(cè)模型的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺(jué)與圖像識(shí)別技術(shù)領(lǐng)域，具體涉及一種用于人臉遮擋檢測(cè)的多標(biāo)簽深度卷積神經(jīng)網(wǎng)絡(luò)方法、裝置和電子設(shè)備。

背景技術(shù)

近年來(lái)，深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域取得顯著性的成效并得到廣泛應(yīng)用，其中，深度學(xué)習(xí)在人臉識(shí)別應(yīng)用最為廣泛。人臉識(shí)別在實(shí)際應(yīng)用場(chǎng)景下受到諸多挑戰(zhàn)，如人臉遮擋、光照、角度等問(wèn)題，而人臉遮擋問(wèn)題較為常見(jiàn)，如墨鏡、口罩、帽子、圍巾、手部等，并且該問(wèn)題嚴(yán)重影響人臉識(shí)別準(zhǔn)確度。為了解決該問(wèn)題，通過(guò)人臉遮擋檢測(cè)的方法保證輸入到人臉識(shí)別系統(tǒng)的圖片是無(wú)遮擋的人臉圖片。

人臉遮擋檢測(cè)的方法主要是檢測(cè)人臉是否存在遮擋，具體人臉區(qū)域如眼部、鼻子、嘴部、下巴、臉部、額頭。現(xiàn)有技術(shù)中如公開(kāi)號(hào)為CN112016464A和CN111428581A的專利申請(qǐng)文件描述的檢測(cè)人臉遮擋方法，包括：獲取待檢測(cè)圖像；將待檢測(cè)圖像輸入預(yù)設(shè)的人臉遮擋檢測(cè)模型，獲取待檢測(cè)圖像的人臉遮擋檢測(cè)結(jié)果；人臉遮擋檢測(cè)模型的訓(xùn)練過(guò)程包括：根據(jù)預(yù)設(shè)的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)至少兩個(gè)數(shù)據(jù)集的人臉樣本圖像進(jìn)行訓(xùn)練，生成人臉遮擋檢測(cè)模型，數(shù)據(jù)集包括至少兩個(gè)樣本數(shù)據(jù)，每個(gè)數(shù)據(jù)集攜帶有表征數(shù)據(jù)集的應(yīng)用場(chǎng)景的標(biāo)簽信息。

多標(biāo)簽深度卷積網(wǎng)絡(luò)表示網(wǎng)絡(luò)同時(shí)具有識(shí)別多個(gè)目標(biāo)的功能，例如，假設(shè)人、狗、汽車和貓均是網(wǎng)絡(luò)的識(shí)別目標(biāo)，當(dāng)識(shí)別場(chǎng)景同時(shí)出現(xiàn)上述物體，多標(biāo)簽網(wǎng)絡(luò)能同時(shí)識(shí)別上述物體，并返回上述所有結(jié)果，而非僅返回其中一個(gè)結(jié)果。同樣，對(duì)于多標(biāo)簽的人臉遮擋檢測(cè)網(wǎng)絡(luò)而言，當(dāng)人臉同時(shí)出現(xiàn)多個(gè)人臉遮擋區(qū)域，網(wǎng)絡(luò)均能檢測(cè)出所有人臉遮擋區(qū)域。

發(fā)明內(nèi)容

為了解決人臉遮擋影響人臉識(shí)別準(zhǔn)確度的問(wèn)題，本發(fā)明通過(guò)使用多標(biāo)簽的深度卷積神經(jīng)網(wǎng)絡(luò)判斷輸入人臉圖片是否存在遮擋，并輸出具體相應(yīng)遮擋區(qū)域，以提示用戶做出相應(yīng)的調(diào)整動(dòng)作，保證人臉識(shí)別系統(tǒng)得到無(wú)遮擋的人臉圖像。

為實(shí)現(xiàn)上述發(fā)明目的，采用具體技術(shù)方案如下：

一種用于人臉遮擋檢測(cè)的多標(biāo)簽深度卷積神經(jīng)網(wǎng)絡(luò)方法，包括：

獲取待檢測(cè)的人臉圖像；

對(duì)所述人臉圖像進(jìn)行檢測(cè)得到人臉信息，包括人臉框和人臉關(guān)鍵點(diǎn)；

將所述的人臉關(guān)鍵點(diǎn)與預(yù)設(shè)的人臉關(guān)鍵點(diǎn)進(jìn)行仿射變換對(duì)齊，取裁剪后的人臉圖像；

將裁剪后的人臉圖像輸入預(yù)訓(xùn)練的人臉遮擋檢測(cè)模型進(jìn)行識(shí)別，得到待測(cè)人臉圖像的遮擋信息。

本發(fā)明可以檢測(cè)出具體的人臉區(qū)域是否存在遮擋，并輸出人臉8個(gè)區(qū)域的遮擋程度分?jǐn)?shù)，有效地驗(yàn)證人臉遮擋檢測(cè)模型的準(zhǔn)確性。

其中，對(duì)齊并裁剪的人臉遮擋圖像是通過(guò)待檢測(cè)人臉圖像的5個(gè)人臉關(guān)鍵點(diǎn)與5個(gè)標(biāo)準(zhǔn)的人臉關(guān)鍵點(diǎn)進(jìn)行仿射變換對(duì)齊并裁剪為人臉區(qū)域大小為256x256。進(jìn)一步優(yōu)選的，所述5個(gè)人臉關(guān)鍵點(diǎn)包括左眼珠、右眼珠、鼻尖、左嘴角和右嘴角的坐標(biāo)點(diǎn)信息，而5個(gè)標(biāo)準(zhǔn)的人臉關(guān)鍵點(diǎn)的坐標(biāo)點(diǎn)信息為預(yù)設(shè)值。

本發(fā)明中個(gè)，所述的待測(cè)人臉圖像的5個(gè)關(guān)鍵點(diǎn)是由預(yù)先設(shè)置的人臉檢測(cè)器所檢測(cè)得到。

優(yōu)選的，所述遮擋信息包括遮擋的臉部區(qū)域以及對(duì)應(yīng)臉部區(qū)域的遮擋程度信息；

所述臉部區(qū)域?yàn)榘藗€(gè)，分別為左眼、右眼、鼻子、嘴部、下巴、額頭、左臉和右臉。

優(yōu)選的，所述預(yù)訓(xùn)練的人臉遮擋檢測(cè)模型的訓(xùn)練步驟包括：