[發明專利]基于對比知識驅動的虹膜與眼周對抗自適應融合識別方法

在審

• 申請號: 202210264824.4
• 申請日: 2022-03-17
• 公開（公告）號: CN114596622A
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 劉元寧;周智勇;朱曉冬;董立巖;李沅峰;劉煜;張天悅;劉帥;崔靖威;張亞星;孫野;袁一航;董楠;楊恩斌;張少強
• 申請（專利權）人: 吉林大學
• 主分類號: G06V40/18
• 分類號: G06V40/18;G06K9/62;G06N3/04;G06N3/08;G06V10/80;G06V10/82;G06V10/774;G06V10/764
• 代理公司: 長春市恒譽專利代理事務所(普通合伙) 22212
• 代理人: 鞠傳龍

1.基于對比知識驅動的虹膜與眼周對抗自適應融合識別方法，其特征在于：其方法包括如下步驟：

步驟一、建立眼睛可見光圖像數據集、虹膜與眼周目標檢測數據集、虹膜可見光圖像數據集和眼周可見光圖像數據集，并劃分為訓練集和測試集，訓練集用來訓練虹膜與眼周區域檢測網絡模型和虹膜與眼周特征融合模型，測試集用來評估模型的精度；

步驟二、初始化三個MobileNetV3深度卷積神經網絡，每一個網絡模型都去除最后一層全連接層的MobileNetV3作為編碼層，編碼層后面添加一個投影層，投影層后面添加一個預測層，得到三個初始化的模型架構；

步驟三、使用步驟一采集的眼睛可見光圖像訓練集使用一種對比知識驅動的算法訓練步驟二獲得的三個初始化模型架構；

步驟四、去除訓練好的三個模型架構的投影層和預測層，得到三個訓練過的MobileNetV3的卷積編碼部分；

步驟五、在步驟四對比知識驅動訓練得到的MobileNetV3卷積編碼部分作為骨架backbone構建IrisPer_YoloV3目標檢測模型，凍結MobileNetV3卷積編碼部分，將虹膜與眼周目標檢測訓練集來訓練IrisPer_YoloV3目標檢測模型定位虹膜與眼周區域；

步驟六、在步驟四對比知識驅動訓練得到的MobileNetV3卷積編碼部分在其后添加多層感知機作為分類器，凍結MobileNetV3卷積編碼部分，使用眼周可見光圖像訓練集和人員身份標簽訓練，訓練結束后去除最后一層全連接層得到眼周特征提取模型E_per；

步驟七、在步驟四對比知識驅動訓練得到的MobileNetV3卷積編碼部分在其后添加多層感知機作為分類器，凍結MobileNetV3卷積編碼部分，使用虹膜可見光圖像訓練集和人員身份標簽訓練，訓練結束后去除最后一層全連接層得到虹膜特征提取模型E_iris；

步驟八、構建一個分類與判別器集成全連接神經網絡C，將步驟六、步驟七得到的虹膜特征提取模型E_iris和眼周提取模型E_per與分類與判別器集成全連接神經網絡C一起使用虹膜可見光訓練集和眼周可見光訓練集與身份類別標簽進行聯合對抗訓練，目的將不同模態的特征分布在低維子空間中進行配準；

步驟九、設置兩個可學習的參數，使用經過步驟八對抗訓練得到的虹膜特征提取器E_iris與眼周特征提取器E_per，再添加一個多層感知機作為融合分類器F來構建虹膜與眼周融合模型，凍結虹膜特征提取模型和眼周特征提取模型，使用虹膜可見光訓練集和眼周可見光訓練集訓練整個融合識別模型，優化融合分類器F的多層感知機；

步驟十、步驟九得到的虹膜與眼周融合模型與步驟五得到的虹膜眼周同步檢測模型IrisPer_YoloV3目標檢測模型聯合訓練，并去除最后一層神經網絡，得到最終的虹膜與眼周區域檢測與融合識別模型特征提取器；

步驟十一、使用一種多階段決策策略協同的方案作為訓練好的的虹膜與眼周雙模態融合識別模型的決策機制。

2.根據權利要求1所述的基于對比知識驅動的虹膜與眼周對抗自適應融合識別方法，其特征在于：上述步驟一中眼睛可見光圖像數據集、虹膜與眼周目標檢測數據集、虹膜可見光圖像數據集和眼周可見光圖像數據集建立的具體過程如下：

第一步、使用高清攝像頭采集模板測試人員的模板眼睛可見光圖像2500張，其中2000張劃分為訓練集，500張劃分為測試集，作為眼睛可見光圖像數據集；

第二步、使用labelme工具標注眼睛可見光圖像訓練集和測試集中每個樣本的虹膜區域和眼周區域，得到虹膜區域和眼周區域的目標檢測位置標簽，該標簽和眼睛可見光圖像數據集組合得到虹膜與眼周目標檢測數據集；

第三步、根據第二步得到的虹膜與眼周目標檢測數據集中的標簽將眼睛可見光圖像數據集中的每一個樣本裁剪得到虹膜可見光圖像和眼周可見光圖像，并為每張圖像分配一個身份類別標簽，身份標簽和虹膜可見光圖像與眼周可見光圖像分別構造出虹膜可見光數據集和眼周可見光數據集。