[發(fā)明專利]無(wú)約束場(chǎng)景下的基于上下文推理的人臉檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010531633.0
• 申請(qǐng)日: 2020-06-11
• 公開（公告）號(hào): CN111898410A
• 公開（公告）日: 2020-11-06
• 發(fā)明（設(shè)計(jì)）人: 徐琴珍;楊哲;邵文韜;劉茵茵;侯坤林;朱穎;楊綠溪
• 申請(qǐng)（專利權(quán)）人: 東南大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 南京眾聯(lián)專利代理有限公司 32206
• 代理人: 葉涓涓

本發(fā)明提供了一種在無(wú)約束場(chǎng)景下的基于上下文推理的人臉檢測(cè)方案，屬于多媒體信號(hào)處理領(lǐng)域。本發(fā)明將訓(xùn)練集進(jìn)行數(shù)據(jù)增廣，以VGGNet?16作為基礎(chǔ)特征提取網(wǎng)絡(luò)，通過(guò)低層級(jí)特征金字塔網(wǎng)絡(luò)加權(quán)地融合不同層特征，并在預(yù)測(cè)環(huán)節(jié)采用上下文輔助預(yù)測(cè)模塊擴(kuò)充子網(wǎng)絡(luò)以加深、加寬網(wǎng)絡(luò)模型，引入自適應(yīng)錨點(diǎn)取樣的數(shù)據(jù)增強(qiáng)方式和多尺度訓(xùn)練方法，增強(qiáng)了模型對(duì)于尺度的適應(yīng)力。本發(fā)明不僅可提取出最具表達(dá)力的描述信息，還能較好地彌補(bǔ)未被充分提取的面部特征，且可優(yōu)化對(duì)面部特征的利用率，適用于檢測(cè)難度較高的無(wú)約束場(chǎng)景，尤其對(duì)微小的、模糊的、遮擋的人臉也能實(shí)現(xiàn)精準(zhǔn)檢測(cè)。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及一種無(wú)約束場(chǎng)景下的基于上下文推理的人臉檢測(cè)方法。

背景技術(shù)

智能化終端設(shè)備的普及深刻地影響著人類的思維方式，對(duì)其社交本質(zhì)有了全新的定義。人臉檢測(cè)是計(jì)算機(jī)視覺領(lǐng)域中最貼合日常生活的應(yīng)用，它將人類從繁重的視覺處理工作中解脫出來(lái)，轉(zhuǎn)而用機(jī)器去分析和匯總圖像、視頻中的指定信息，對(duì)時(shí)代社會(huì)的發(fā)展產(chǎn)生了深遠(yuǎn)的影響。在智能手機(jī)上，iPhone X、華為Mate20pro分別在IOS平臺(tái)、安卓平臺(tái)實(shí)現(xiàn)3D人臉識(shí)別解鎖，更好地保護(hù)了隱私；在安防監(jiān)控中，可以通過(guò)人臉識(shí)別技術(shù)去追蹤和捕獲不法分子，加強(qiáng)了治安維護(hù)力度；在財(cái)產(chǎn)安全方面，支付寶率先推出刷臉支付、信用貸款進(jìn)行身份認(rèn)證，提高效率的同時(shí)也保證了安全性。

早期主流的人臉檢測(cè)方法，大都基于人工設(shè)計(jì)的模板匹配技術(shù)，對(duì)無(wú)遮擋的正面清晰人臉的檢測(cè)效果較好，盡管易于實(shí)現(xiàn)，且?guī)缀醪皇芄庹铡D片成像質(zhì)量影響，但由于人臉的高可塑性，無(wú)法制定出完全有效的人臉模板以適應(yīng)姿勢(shì)、尺度等的變化，導(dǎo)致精度受限。僅僅通過(guò)機(jī)械地比對(duì)手工特征與目標(biāo)人臉之間的自相關(guān)性來(lái)判定圖像中是否存在人臉的傳統(tǒng)人臉檢測(cè)方法并不適用于無(wú)約束場(chǎng)景。

隨著深度學(xué)習(xí)的飛速發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測(cè)方法以其強(qiáng)大的表征學(xué)習(xí)與非線性建模能力逐步取代了傳統(tǒng)人臉檢測(cè)方法，顯著提升了檢測(cè)性能，尤其對(duì)于毫無(wú)遮擋的清晰人臉幾乎都可以達(dá)到百分之百的準(zhǔn)確率。但是，在自然場(chǎng)景下的無(wú)約束人臉極易受到遮擋、光照、表情、姿態(tài)等外部環(huán)境因素的干擾，造成面部特征提取、利用不充分；此外，尺寸較小的低分辨率人臉更是瓶頸所在，以小尺寸錨點(diǎn)對(duì)小人臉進(jìn)行密集采樣，極易產(chǎn)生過(guò)多的背景負(fù)樣本，造成誤檢率上升。現(xiàn)有無(wú)約束場(chǎng)景下的人臉檢測(cè)方法其準(zhǔn)確率尚顯不足，未能取得令人滿意的效果。

發(fā)明內(nèi)容

為解決上述問題，本發(fā)明提供了一種無(wú)約束場(chǎng)景下的基于上下文推理的人臉檢測(cè)方法，著重在以下兩方面進(jìn)行改進(jìn)和優(yōu)化：一方面，充分提取面部特征，尤其是更具表達(dá)力的描述信息，通過(guò)低層級(jí)特征金字塔網(wǎng)絡(luò)加權(quán)地融合不同層級(jí)的特征，并在預(yù)測(cè)環(huán)節(jié)采用上下文輔助預(yù)測(cè)模塊擴(kuò)充子網(wǎng)絡(luò)，更深、更寬的網(wǎng)絡(luò)模型可以較好地彌補(bǔ)未被充分提取的面部特征；另一方面，引入自適應(yīng)錨點(diǎn)取樣的數(shù)據(jù)增強(qiáng)方式和多尺度方法，增強(qiáng)了模型對(duì)于尺度的適應(yīng)力，進(jìn)而提高對(duì)于面部特征的利用率。

為了達(dá)到上述目的，本發(fā)明提供如下技術(shù)方案：

無(wú)約束場(chǎng)景下的基于上下文推理的人臉檢測(cè)方法，包括如下步驟：

步驟1，對(duì)WIDER FACE(目前最為權(quán)威的人臉檢測(cè)基準(zhǔn))訓(xùn)練集進(jìn)行數(shù)據(jù)增廣；

步驟2，基于步驟1的增廣圖片，以VGGNet-16(經(jīng)典的深度卷積神經(jīng)網(wǎng)絡(luò))作為基礎(chǔ)特征提取網(wǎng)絡(luò)，通過(guò)低層級(jí)特征金字塔網(wǎng)絡(luò)加權(quán)地融合不同層的特征，并在預(yù)測(cè)環(huán)節(jié)采用上下文輔助預(yù)測(cè)模塊擴(kuò)充子網(wǎng)絡(luò)，進(jìn)而加深、加寬網(wǎng)絡(luò)模型；

步驟3，在訓(xùn)練參數(shù)初始化后，應(yīng)用多尺度訓(xùn)練方法指導(dǎo)模型的自主學(xué)習(xí)過(guò)程，當(dāng)損失收斂后保存模型，并進(jìn)行檢測(cè)。

進(jìn)一步的，所述步驟1具體包括如下子步驟：

步驟1.1：對(duì)WIDER FACE訓(xùn)練集中的圖片進(jìn)行水平翻轉(zhuǎn)和隨機(jī)裁剪，作為初步預(yù)處理，具體操作為：首先將輸入圖像擴(kuò)展為原先尺寸的4倍，接著再對(duì)每一張圖片進(jìn)行鏡像水平翻轉(zhuǎn)，最后隨機(jī)地裁剪出640×640的區(qū)域大小，即應(yīng)用下式進(jìn)行處理：