[發(fā)明專利]一種基于共享卷積特征的人臉檢測與對齊方法

有效

• 申請?zhí)枺?/td>: 201710135007.8
• 申請日: 2017-03-08
• 公開（公告）號: CN106909909B
• 公開（公告）日: 2021-02-02
• 發(fā)明（設(shè)計(jì)）人: 王華鋒;黃江;劉萬泉;潘海俠
• 申請（專利權(quán)）人: 王華鋒
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 北京科迪生專利代理有限責(zé)任公司 11251
• 代理人: 楊學(xué)明;顧煒

本發(fā)明提供一種基于共享卷積特征的人臉檢測與對齊方法，包含四個步驟：首先對輸入圖像進(jìn)行多層卷積和池化操作，提取卷積特征；然后根據(jù)提取到的卷積特征進(jìn)行人臉檢測，輸出圖像中的人臉位置信息；接著根據(jù)上一步驟輸出的人臉位置信息，提取對應(yīng)人臉位置的卷積特征，對人臉進(jìn)行面部特征點(diǎn)定位，即輸出人臉圖像中的人臉特征點(diǎn)位置如眉毛、眼角、鼻子、嘴角等；最后根據(jù)人臉特征點(diǎn)檢測步驟輸出的人臉圖像及其對應(yīng)的人臉特征點(diǎn)位置，對人臉進(jìn)行旋轉(zhuǎn)和縮放處理，輸出對齊后的人臉圖像。本發(fā)明可實(shí)現(xiàn)對圖像中人臉的自動檢測與自動對齊，具有速度快、準(zhǔn)確率高的特點(diǎn)，有助于提高人臉驗(yàn)證與人臉識別技術(shù)的準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，具體涉及一種基于共享卷積特征的人臉檢測與對齊方法。

背景技術(shù)

隨著計(jì)算機(jī)科學(xué)的不斷發(fā)展，人機(jī)交互已成為越來越受重視的技術(shù)。作為計(jì)算機(jī)視覺領(lǐng)域的人臉識別和人臉驗(yàn)證技術(shù)已經(jīng)在工業(yè)界開始得到應(yīng)用，在過去幾十年中人臉識別與驗(yàn)證技術(shù)一直是計(jì)算機(jī)視覺領(lǐng)域的熱點(diǎn)研究課題。而人臉檢測與對齊是人臉識別中至關(guān)重要的一個步驟。

首先，當(dāng)前使用比較常見的人臉檢測方法是基于Haar-like特征和AdaBoost技術(shù)的人臉檢測方法，它通過提取人工設(shè)計(jì)的特征訓(xùn)練了基于AdaBoost技術(shù)的人臉檢測器。但是由于Haar-like特征是一種人工設(shè)計(jì)的低層次抽象特征，并不具備完備的人臉信息，所以導(dǎo)致訓(xùn)練出來的檢測器準(zhǔn)確率不高。

其次，當(dāng)前使用比較常見的人臉特征點(diǎn)定位方法是自適應(yīng)形狀模型方法(ASM，adaptive shape model)。這種方法對于異常特征點(diǎn)和姿態(tài)變化都不具備很強(qiáng)的魯棒性，因此很難得到準(zhǔn)確的人臉特征點(diǎn)，這將直接影響人臉對齊效果，進(jìn)一步導(dǎo)致人臉識別性能的嚴(yán)重下降。

再次，基于卷積神經(jīng)網(wǎng)絡(luò)的方法雖然在準(zhǔn)確率方面比傳統(tǒng)方法較高，但是卷積神經(jīng)網(wǎng)絡(luò)計(jì)算量大，處理單張圖片耗時長，很難達(dá)到實(shí)時檢測人臉并對齊的要求。所以需要發(fā)明一種新的人臉檢測與對齊方法，可以采用基于共享卷積特征的人臉檢測與面部特征點(diǎn)定位方法。

為了解決上述問題，本發(fā)明提供一種基于共享卷積特征的人臉檢測與對齊方法，該方法以任意包含人臉的圖像為輸入，可以快速準(zhǔn)確地檢測并對齊人臉。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是：克服了現(xiàn)有的基于傳統(tǒng)特征和基于卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測與對齊方法的不足，提供了一種基于共享卷積特征的人臉檢測與對齊方法。

本發(fā)明采用的技術(shù)方案為：一種基于共享卷積特征的人臉檢測與對齊方法，本發(fā)明流程示意圖如圖7所示，包括以下四個步驟：

步驟(1)、首先使用一個深層卷積網(wǎng)絡(luò)結(jié)構(gòu)對輸入圖像進(jìn)行卷積特征提取，卷積層激活函數(shù)采用RELU激活函數(shù)，池化層采用最大值池化。給定任意尺寸大小的輸入圖片，經(jīng)過多層卷積池化操作，輸出的卷積特征在深度軸上為固定大小512，在空間上的尺寸與輸入圖片的尺寸成比例關(guān)系。卷積特征提取部分共有16層，其中包括12層卷積層和4層池化層，卷積層的卷積核尺寸大小均為3x3，卷積步幅均為1，零填充數(shù)目為2，池化層的池化核尺寸大小均為2x2，池化層步幅均為2；

步驟(2)、輸入圖片經(jīng)過多層卷積池化操作之后，提取卷積特征，訓(xùn)練人臉檢測器，包括區(qū)域建議網(wǎng)絡(luò)和感興趣區(qū)域池化層；區(qū)域建議網(wǎng)絡(luò)以卷積特征為輸入，輸出可能是目標(biāo)對象的候選區(qū)域，然后引入感興趣區(qū)域池化層提取出候選區(qū)域?qū)?yīng)的卷積特征，對每個候選區(qū)域進(jìn)行二分類與邊界框回歸。分類部分的輸出值代表候選區(qū)域是否是人臉，如果是人臉則輸出1，否則輸出0；邊界框回歸部分輸出人臉區(qū)域在輸入圖像中的位置，若分類部分輸出0，則忽略邊界框回歸部分的輸出。

步驟(3)、輸入圖片經(jīng)過多層卷積池化操作之后提取到卷積特征，再經(jīng)過感興趣區(qū)域池化層提取人臉區(qū)域特征，訓(xùn)練面部特征點(diǎn)回歸器，即將特征一維化連接全連接層，對面部特征點(diǎn)位置進(jìn)行回歸，輸出該人臉圖像中的人臉特征點(diǎn)位置，包括眉毛、眼角、鼻子、嘴角。