[發明專利]一種基于注意力機制的紅外寬光譜人臉識別方法及系統

有效

• 申請號: 202110962848.2
• 申請日: 2021-08-20
• 公開（公告）號: CN113723246B
• 公開（公告）日: 2022-09-02
• 發明（設計）人: 張天序;郭婷;郭詩嘉;蘇軒;李正濤;彭雅
• 申請（專利權）人: 南京華圖信息技術有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/44;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 武漢華之喻知識產權代理有限公司 42267
• 代理人: 鄧彥彥;廖盈春

本發明提供一種基于注意力機制的紅外寬光譜人臉識別方法及系統，其中方法包括：獲取人臉各個關鍵區域的紅外寬光譜數據；對各關鍵區域的紅外寬光譜數據進行并聯的多種不同二維卷積提取局部特征，二維卷積的維度由大到小，得到各關鍵區域在多種不同卷積維度下由粗到細的多種特征，并將多種由粗到細的特征拼接得到每個區域局部特征，使得局部特征包含全面且豐富的人臉特征；結合注意力機制學習各區域局部特征的注意權重，以將關鍵區域的局部特征融合得到人臉寬光譜特征向量；基于全連接網絡提取人臉寬光譜特征向量的全局特征；基于全局特征判斷其所屬的人的身份，以進行人臉識別。本發明基于紅外寬光譜特征進行人臉識別，提高了人臉識別的準確率。

技術領域

本發明屬于生物特征識別與紅外寬光譜技術的交叉融合領域，更具體地，涉及一種基于注意力機制的紅外寬光譜人臉識別方法及系統。

背景技術

目前基于可見光成像的人臉識別技術已經趨于成熟，但是在某些條件下仍存在弊端，例如：(1)弱光照甚至是無光照；(2)面部進行妝容打扮、做夸張表情、偽裝、甚至整容；(3)受照片欺騙。在這些情況下，可見光人臉識別系統的魯棒性差，識別率降低。

2003年，ZhiHong Pan等人首次探索了近紅外光譜范圍(0.7μm～1.0μm，包含31個波段)內用于光譜人臉識別的面部光譜測量，由于近紅外光譜圖像是在連續光譜上的連續圖像，可以更好的表示反射、吸收和發射電磁波能量的皮膚信息，提高魯棒性，驗證了在存在面部姿勢和表情變化的情況下隨著時間的推移，近紅外光譜用于人臉識別的實用性。2010年Di.W等人探索可見光光譜范圍(0.4μm～0.72μm，包含33個波段)內用于光譜人臉識別的技術應用。利用提取的六個特征波段，采用2DPCA算法提取圖像特征，K近鄰算法實現人臉圖像分類，識別率為78.33％。2015年，Uzair M等人探索了可見光和近紅外光譜的總范圍為0.4μm～1.09μm的光譜人臉識別方法，利用波帶融合將光譜圖像進行合并，利用PLS(偏最小二乘法)回歸算法實現人臉的識別分類。

綜上，上述幾種光譜人臉識別算法在光譜范圍的選擇限于可見光光譜范圍和近紅外光譜范圍，均無法在夜間使用，且上述幾種算法均未獲得令人滿意的識別準確率。

發明內容

針對現有技術的缺陷，本發明的目的在于提供一種基于注意力機制的紅外寬光譜人臉識別方法及系統，旨在解決現有光譜人臉識別算法在光譜范圍的選擇限于可見光光譜范圍和近紅外光譜范圍，且現有人臉識別算法的準確率不高的問題。

為實現上述目的，第一方面，本發明提供了一種基于注意力機制的紅外寬光譜人臉識別系統，包括：

紅外寬光譜數據獲取模塊，用于獲取人臉各個關鍵區域的紅外寬光譜數據；

并聯局部特征提取模塊，用于對每個關鍵區域的紅外寬光譜數據進行并聯的多種不同的二維卷積提取局部特征，所述二維卷積的維度由大到小，得到每個關鍵區域在多種不同卷積維度下由粗到細的多種特征，并將多種由粗到細的特征拼接得到每個關鍵區域的局部特征，使得所述局部特征包含全面且豐富的人臉特征；

注意力機制提取模塊，用于結合注意力機制學習各個關鍵區域局部特征的注意權重，并基于學習的注意權重將所有關鍵區域的局部特征融合得到人臉寬光譜特征向量；

全局特征提取模塊，用三層全連接網絡提取人臉寬光譜特征向量的全局特征，每一個全連接層中的每一個節點與上一層的所有節點均相連，用于將上一層提取的特征綜合起來；

分類模塊，用于基于所述全局特征判斷其所屬的人的身份，以進行人臉識別。

在一個具體的示例中，人臉關鍵區域可包括：左眼、右眼、鼻子以及嘴巴四個區域；本領域技術人員可根據實際需要選擇其他更多或更少的關鍵區域。

在一個可選的示例中，所述并聯局部特征提取模塊用于對每個關鍵區域的紅外寬光譜數據進行并聯的多種不同的二維卷積提取局部特征，具體為：