[發明專利]基于對比知識驅動的虹膜與眼周對抗自適應融合識別方法

在審

• 申請號: 202210264824.4
• 申請日: 2022-03-17
• 公開（公告）號: CN114596622A
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 劉元寧;周智勇;朱曉冬;董立巖;李沅峰;劉煜;張天悅;劉帥;崔靖威;張亞星;孫野;袁一航;董楠;楊恩斌;張少強
• 申請（專利權）人: 吉林大學
• 主分類號: G06V40/18
• 分類號: G06V40/18;G06K9/62;G06N3/04;G06N3/08;G06V10/80;G06V10/82;G06V10/774;G06V10/764
• 代理公司: 長春市恒譽專利代理事務所(普通合伙) 22212
• 代理人: 鞠傳龍

本發明公開了一種基于對比知識驅動的虹膜與眼周對抗自適應融合識別方法，其方法為：步驟一、建立數據集并劃分為訓練集和測試集；步驟二、得到模型架構；步驟三、訓練模型架構；步驟四、得到卷積編碼部分；步驟五、將目標檢測模型定位虹膜與眼周區域；步驟六、訓練結束后去除最后一層全連接層得到眼周特征提取模型E_per；步驟七、使用虹膜可見光圖像訓練集和人員身份標簽訓練；步驟八、將不同模態的特征分布在低維子空間中進行配準；步驟九、設置兩個可學習的參數；步驟十、得到模型特征提取器；步驟十一、確定雙模態融合識別模型的決策機制。有益效果：提高了系統的可靠性與安全性；提高了小樣本數據集上的識別性能；能夠提高最終的識別性能。

技術領域

本發明涉及一種虹膜與眼周對抗自適應融合識別方法，特別涉及一種基于對比知識驅動的虹膜與眼周對抗自適應融合識別方法。

背景技術

目前，隨著信息安全在信息化社會中處于越來越重要的地位，以虹膜、指紋、人臉為代表的生理特征和以步態、簽名、擊鍵為代表的行為特征的生物識別技術解決了傳統身份認證易于丟失和偽造等問題，正被大規模應用在訪問控制，身份識別等場景。其中虹膜識別作為非接觸的生物識別技術，由于其唯一性，穩定性，不易盜取，易用性等特性，且在生物識別技術中精確率僅此于DNA，被應用在軍事、金融、銀行、智慧工地、智慧礦山、智能家居等領域。

由于虹膜位于眼部的內部器官區域，且面積較小，需要用戶在較小的距離配合才能有效采集虹膜圖像，而且由于亞洲人的虹膜顏色為深褐色，虹膜采集多使用較昂貴的近紅外光采集設備，因此制約了虹膜識別的民用推廣。單一的虹膜身份識別技術易受噪聲、識別率上限低、呈現攻擊等影響。而且以往的多模態解決方案如虹膜與人臉融合，受制于國內外將長期處于convid-19流行的大環境，人臉被口罩遮擋導致識別率下降。而且異源模態融合存在特征分布不一致，導致融合之后識別率下降的問題。

因此，如何解決虹膜識別采集距離較小，采集方法成本較昂貴，單一虹膜識別系統的魯棒性較低，國內外將長期處于convid-19流行大環境對生物識別技術的影響，提高異源模態融合識別率等關鍵問題，是當前虹膜識別與多模態生物識別技術的一個重點。

發明內容

本發明的主要目的是為了解決現有單一模態生物特征虹膜識別的高采集條件，安全性與可靠性低等缺陷問題；

本發明的另一個目的是為了提高虹膜融合其他模態的多模態生物識別技術的性能；

本發明的再一個目的是提供一種訓練范式解決大規模虹膜數據庫不可用情況下，深度神經網絡過擬合問題，改善虹膜等生物特征識別性能。

本發明為了解決上述問題達到上述目的而提供的一種基于對比知識驅動的虹膜與眼周對抗自適應融合識別方法。

本發明提供的基于對比知識驅動的虹膜與眼周對抗自適應融合識別方法，其方法包括如下步驟：

步驟一、建立眼睛可見光圖像數據集、虹膜與眼周目標檢測數據集、虹膜可見光圖像數據集和眼周可見光圖像數據集，并劃分為訓練集和測試集，訓練集用來訓練虹膜與眼周區域檢測網絡模型和虹膜與眼周特征融合模型，測試集用來評估模型的精度；

步驟二、初始化三個MobileNetV3深度卷積神經網絡，每一個網絡模型都去除最后一層全連接層的MobileNetV3作為編碼層，編碼層后面添加一個投影層，投影層后面添加一個預測層，得到三個初始化的模型架構；

步驟三、使用步驟一采集的眼睛可見光圖像訓練集使用一種對比知識驅動的算法訓練步驟二獲得的三個初始化模型架構；

步驟四、去除訓練好的三個模型架構的投影層和預測層，得到三個訓練過的MobileNetV3的卷積編碼部分；