[發(fā)明專利]基于特征融合神經(jīng)網(wǎng)絡(luò)的多模態(tài)人臉識別方法

有效

• 申請?zhí)枺?/td>: 201910001632.2
• 申請日: 2019-01-02
• 公開（公告）號: CN111401107B
• 公開（公告）日: 2023-08-18
• 發(fā)明（設(shè)計）人: 陳嘉君;徐樹公;曹姍;張舜卿
• 申請（專利權(quán)）人: 上海大學(xué)
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06N3/0464
• 代理公司: 上海交達(dá)專利事務(wù)所 31201
• 代理人: 王毓理;王錫麟

一種基于特征融合神經(jīng)網(wǎng)絡(luò)的多模態(tài)人臉識別方法，通過融合特征卷積神經(jīng)網(wǎng)絡(luò)，以預(yù)處理后正常光源下的可見光圖像和紅外光圖像作為訓(xùn)練集進(jìn)行訓(xùn)練，并在訓(xùn)練后對各種光源情況下的可見光圖像和紅外光圖像進(jìn)行識別。本發(fā)明采用特征融合卷積網(wǎng)絡(luò)，融合可見光人臉和近紅外人臉的特征，在應(yīng)對不同光照強度下，獲得更加高的人臉識別結(jié)果，在應(yīng)對無光、弱光，正常光源下，特征融合網(wǎng)絡(luò)具有高魯棒性和高準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及的是一種人工智能識別領(lǐng)域的技術(shù)，具體是一種基于特征融合神經(jīng)網(wǎng)絡(luò)的多模態(tài)人臉識別方法。

背景技術(shù)

現(xiàn)有的人臉識別方法一般采用HOG、LBP、LGBP等算法或神經(jīng)網(wǎng)絡(luò)來提取特征進(jìn)行人臉識別。但這些方法很適合運用于正常光源下的人臉情況。一旦人臉在非正常光強下，人臉識別的準(zhǔn)確率就會不理想。

現(xiàn)有的改進(jìn)技術(shù)中有通過先計算拍攝到的人臉圖像受光照影響的程度，并根據(jù)影響程度調(diào)整人臉圖像的明暗值，后再通過神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，或通過紅外線方式提取人臉圖像進(jìn)行后續(xù)特征提取。但這些技術(shù)在特征提取前都無法避免地會產(chǎn)生圖像中的信息的損失。因而影響后續(xù)特征提取以及識別率。

發(fā)明內(nèi)容

本發(fā)明針對現(xiàn)有技術(shù)存在的上述不足，提出一種基于特征融合神經(jīng)網(wǎng)絡(luò)的多模態(tài)人臉識別方法，采用特征融合卷積網(wǎng)絡(luò)，融合可見光人臉和近紅外人臉的特征，在應(yīng)對不同光照強度下，獲得更加高的人臉識別結(jié)果，在應(yīng)對無光、弱光，正常光源下，特征融合網(wǎng)絡(luò)具有高魯棒性和高準(zhǔn)確率。

本發(fā)明是通過以下技術(shù)方案實現(xiàn)的：

本發(fā)明涉及一種基于特征融合神經(jīng)網(wǎng)絡(luò)的多模態(tài)人臉識別方法，通過融合特征卷積神經(jīng)網(wǎng)絡(luò)，以預(yù)處理后正常光源下的可見光圖像和紅外光圖像作為訓(xùn)練集進(jìn)行訓(xùn)練，并在訓(xùn)練后對各種光源情況下的可見光圖像和紅外光圖像進(jìn)行識別。

所述的預(yù)處理是指：按照相同幀率同步截取可見光和近紅外的人臉圖像，對各光譜圖像進(jìn)行人臉檢測、人臉定位和剪裁，分別生成可見光與近紅外光下同步的人臉圖像，分別記為V(可見光人臉)和N(近紅外人臉)。

所述的各種光源包括：正常光源、弱光和無光情況。

所述的融合特征卷積神經(jīng)網(wǎng)絡(luò)，包括可見光分支網(wǎng)絡(luò)層、近紅外分支網(wǎng)絡(luò)層、融合層和預(yù)測層。

所述的可見光分支網(wǎng)絡(luò)層和近紅外分支網(wǎng)絡(luò)層均為卷積神經(jīng)網(wǎng)絡(luò)且各包括五個卷積塊和一個全連接層，其中：第一卷積塊和第二卷積塊均包括兩個用于特征提取的卷積層和一個用于降維的最大池化層，第三至第五卷積塊均包括三個用于特征提取的卷積層和一個用于降維的最大池化層，每一層運算操作后的特征圖都經(jīng)過Relu函數(shù)作為非線性激活函數(shù)。

可見光與近紅外圖像分別經(jīng)過各自的卷積層進(jìn)行卷積操作提取特征值，之后經(jīng)過各自網(wǎng)絡(luò)的全連接層。

所述的融合層通過融合操作將可見光分支網(wǎng)絡(luò)層最后的全連接層的特征向量與近紅外分支網(wǎng)絡(luò)層最后的全連接層的特征向量串聯(lián)起來，得到的特征向量包含了可見光的特征和近紅外的特征。

在應(yīng)對不同光強下，可見光圖像可獲得更多的人臉細(xì)節(jié)特征，但會嚴(yán)重受到光強的影響，但是近紅外卻對光強的影響不敏感，所以在惡劣光源下可以獲得人臉的特征。在融合過程中，分別將卷積層學(xué)習(xí)到的可見光與近紅外特征進(jìn)行串聯(lián)互補，在應(yīng)對光強影響下，特征信息會比單光譜的更加豐富。并將串聯(lián)起來的特征向量，送入之后預(yù)測層進(jìn)行人臉預(yù)測。

所述的預(yù)測層所采用的人臉的標(biāo)簽為one-hot標(biāo)簽，以softmax進(jìn)行人臉概率預(yù)測，通過softmax輸出每個注冊人臉的概率，取概率最大的人臉作為最后的人臉識別結(jié)果；訓(xùn)練損失函數(shù)選用交叉熵(Categorical?Crossentropy)。