[發明專利]基于特征融合神經網絡的多模態人臉識別方法

有效

• 申請號: 201910001632.2
• 申請日: 2019-01-02
• 公開（公告）號: CN111401107B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 陳嘉君;徐樹公;曹姍;張舜卿
• 申請（專利權）人: 上海大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06N3/0464
• 代理公司: 上海交達專利事務所 31201
• 代理人: 王毓理;王錫麟

1.一種基于特征融合神經網絡的多模態人臉識別方法，通過融合特征卷積神經網絡，以預處理后正常光源下的可見光圖像和紅外光圖像作為訓練集進行訓練，并在訓練后對各種光源情況下的可見光圖像和紅外光圖像進行識別；

所述的融合特征卷積神經網絡，包括可見光分支網絡層、近紅外分支網絡層、融合層和預測層；

所述的可見光分支網絡層和近紅外分支網絡層均為卷積神經網絡且各包括五個卷積塊和一個全連接層，其中：第一卷積塊和第二卷積塊均包括兩個用于特征提取的卷積層和一個用于降維的最大池化層，第三至第五卷積塊均包括三個用于特征提取的卷積層和一個用于降維的最大池化層，每一層運算操作后的特征圖都經過Relu函數作為非線性激活函數；可見光與近紅外圖像分別經過各自的卷積層進行卷積操作提取特征值，之后經過各自網絡的全連接層；

所述的第一卷積塊包括兩個卷積核尺寸為3×3、步長為1×1、卷積核數量為64的卷積層和一個卷積核為2×2、步長為2×2的最大池化層；

第二卷積塊包括兩個卷積核尺寸為3×3、步長為1×1、卷積核數量為128的卷積層和一個卷積核為2×2、步長為2×2的最大池化層；

第三卷積塊包括三個卷積核尺寸為3×3、步長為1×1、卷積核數量為256的卷積層和一個卷積核為2×2、步長為2×2的最大池化層；

第四卷積塊包括三個卷積核尺寸為3×3、步長為1×1、卷積核數量為512的卷積層和一個卷積核為2×2、步長為2×2的最大池化層；

第五卷積塊包括三個卷積核尺寸為3×3、步長為1×1、卷積核數量為512的卷積層和一個卷積核為2×2、步長為2×2的最大池化層；

兩個全連接層各有4096個節點；

所述的融合層通過融合操作將可見光分支網絡層最后的全連接層的特征向量與近紅外分支網絡層最后的全連接層的特征向量串聯起來，得到的特征向量包含了可見光的特征和近紅外的特征；

所述的預測層所采用的人臉的標簽為one-hot標簽，以softmax進行人臉概率預測，通過softmax輸出每個注冊人臉的概率，取概率最大的人臉作為最后的人臉識別結果；訓練損失函數選用交叉熵；

所述的預處理是指：按照相同幀率同步截取可見光和近紅外的人臉圖像，對各光譜圖像進行人臉檢測、人臉定位和剪裁，分別生成可見光與近紅外光下同步的人臉圖像，分別記為V(可見光人臉)和N(近紅外人臉)。

2.一種實現權利要求1所述方法的系統，其特征在于，包括：預處理模塊、識別模塊和結果輸出模塊，其中：預處理模塊將收到的可見光圖像和近紅外圖像進行人臉檢測、人臉定位和剪裁處理后輸出至包含融合特征卷積神經網絡的識別模塊，識別模塊根據可見光圖像和近紅外圖像對融合特征卷積神經網絡進行訓練或測試，并輸出圖像相似概率結果至結果輸出模塊，結果輸出模塊經過各概率比較輸出最大概率人臉類別作為輸出識別結果。