[發明專利]基于靜脈相似圖像知識遷移網絡的多模態身份認證方法

在審

• 申請號: 202010962646.3
• 申請日: 2020-09-14
• 公開（公告）號: CN112241680A
• 公開（公告）日: 2021-01-19
• 發明（設計）人: 王軍;鹿姝;楊凱
• 申請（專利權）人: 中國礦業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62;G06N3/04;G06N3/08;G06F21/31;G06F21/32
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 朱沉雁

本發明公開了一種基于靜脈相似圖像知識遷移網絡的多模態身份認證方法，基于相似圖像的知識遷移學習網絡模型和監督詞袋模型。本發明涉及計算機視覺領域，采用一種基于靜脈圖像相似性的知識遷移網絡，依次對人臉識別模型到靜脈身份認證模型到靜脈性別判定模型進行訓練、微調，將微調后的網絡對靜脈圖像進行特征提取，采用一種監督詞袋模型對靜脈性別判定模型輸出的高維性別特征向量進行二次編碼，進行身份認證和性別判定。本發明公開的基于相似圖像的知識遷移網絡和監督詞袋模型，可以利用鄰域模型之間的相似屬性使得模型微調前的特征表征參數空間存在交叉性，提高了身份識別的準確率，確保了模型的判別和泛化性能。

技術領域

本發明設計手部靜脈識別領域，尤其涉及一種基于靜脈相似圖像知識遷移網絡的多模態身份認證方法。

背景技術

靜脈血管是人類攜帶營養和代謝物最重要的結構之一，且與其他生物識別功能(如指紋，虹膜，手勢和臉部)相比，具有防偽，易接受的特點，已成為最受歡迎的個人識別方法之一。除此之外，圖像采集的高便利性和魯棒特征表現導致更廣泛和準確的基于靜脈的個人識別系統。

基于靜脈識別技術設計魯棒身份認證系統雖具有潛在優勢，但在傳統的特征提取方法中，源靜脈圖像訓練庫較小，特征學習能力較差，因此在靜脈圖像的基礎上，首次提出基于相似圖像的知識遷移網絡模型，保證特征表征參數的有效性，有效防止過擬合問題。

然而傳統模式特征編碼模型存在特征信息不具有語義有效性，無法有效基于特征分布進行各類模式識別(特征表征、圖像分割、圖像去噪、顯著性檢測等)問題求解。首次提出一種基于具有性別屬性的靜脈圖像的監督詞袋模型，對性別判定模型輸出的高維特征向量進行二次編碼，進而實現冗余信息的去除，提高特征向量的表征能力。但是以上特征編碼模式，但對旋轉等問題樣本的適應性存在缺陷。

發明內容

本發明的目的在于提供一種基于靜脈相似圖像知識遷移網絡的多模態身份認證方法，本發明有效的確保了模型的判別和泛化功能，提高了分類性能，獲得了更加具有魯棒性和高效的手部靜脈圖像性別和身份識別方法。

實現本發明目的的技術解決方案為：一種基于靜脈相似圖像知識遷移網絡的多模態身份認證方法，包括以下步驟：

步驟1、在近紅外條件下，構建靜脈圖像庫和人臉圖像庫：

采集若干幅手背靜脈樣本圖像，建立實驗室靜脈圖像庫，采用ROI提取方法對實驗室靜脈圖像庫中的圖像進行處理，分別得到尺寸為M*N的有效靜脈樣本圖像，獲得靜脈數據庫，其中M∈[100，224]，N∈[100，224]；

采集若干幅人臉圖像，建立近紅外人臉圖像庫，并使用VGG16卷積神經網絡結構對近紅外人臉圖像庫中的所有圖像分別進行人臉檢測與定位，得到尺寸為A*B的有效區域人臉數據圖像，獲得人臉圖像庫，A＝M，B＝N；

步驟2、采用基于相似圖像的“粗精度-細精度”遷移學習策略，通過線性回歸分類器，獲得具有身份屬性的高維特征向量：

步驟2-1、選擇深度卷積網絡對人臉圖像庫進行預訓練，得到的VGG人臉深度卷積神經網絡結構作為初始模型，將和人臉數據庫共享人臉屬性的近紅外人臉圖像庫在初始模型上進行微調，得到知識遷移網絡的FRM，其中，通過線性回歸分類器對FRM輸出層進行微調得到具有近紅外屬性的高維特征向量；

步驟2-2、選用和近紅外人臉圖像庫共享近紅外成像屬性的實驗室靜脈圖像庫在FRM進行微調，得到VIM，其中，通過線性回歸分類器對VIM輸出層進行微調得到具有性別屬性的高維特征向量；

步驟2-3、將具有性別屬性的靜脈數據庫在VIM上進行微調，得到VGM，其中，通過線性回歸分類器對VGM輸出層進行微調得到具有身份屬性的高維特征向量；