[發明專利]基于靜脈相似圖像知識遷移網絡的多模態身份認證方法

在審

• 申請號: 202010962646.3
• 申請日: 2020-09-14
• 公開（公告）號: CN112241680A
• 公開（公告）日: 2021-01-19
• 發明（設計）人: 王軍;鹿姝;楊凱
• 申請（專利權）人: 中國礦業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62;G06N3/04;G06N3/08;G06F21/31;G06F21/32
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 朱沉雁

1.一種基于靜脈相似圖像知識遷移網絡的多模態身份認證方法，其特征在于，所述方法包括以下步驟：

步驟1、在近紅外條件下，構建靜脈圖像庫和人臉圖像庫：

采集若干幅手背靜脈樣本圖像，建立實驗室靜脈圖像庫，采用ROI提取方法對實驗室靜脈圖像庫中的圖像進行處理，分別得到尺寸為M*N的有效靜脈樣本圖像，獲得靜脈數據庫，其中M∈[100，224]，N∈[100，224]；

采集若干幅人臉圖像，建立近紅外人臉圖像庫，并使用VGG16卷積神經網絡結構對近紅外人臉圖像庫中的所有圖像分別進行人臉檢測與定位，得到尺寸為A*B的有效區域人臉數據圖像，獲得人臉圖像庫，A＝M，B＝N；

步驟2、采用基于相似圖像的“粗精度-細精度”遷移學習策略，通過線性回歸分類器，獲得具有身份屬性的高維特征向量：

步驟2-1、選擇深度卷積網絡對人臉圖像庫進行預訓練，得到的VGG人臉深度卷積神經網絡結構作為初始模型，將和人臉數據庫共享人臉屬性的近紅外人臉圖像庫在初始模型上進行微調，得到知識遷移網絡的FRM，其中，通過線性回歸分類器對FRM輸出層進行微調得到具有近紅外屬性的高維特征向量；

步驟2-2、選用和近紅外人臉圖像庫共享近紅外成像屬性的實驗室靜脈圖像庫在FRM進行微調，得到VIM，其中，通過線性回歸分類器對VIM輸出層進行微調得到具有性別屬性的高維特征向量；

步驟2-3、將具有性別屬性的靜脈數據庫在VIM上進行微調，得到VGM，其中，通過線性回歸分類器對VGM輸出層進行微調得到具有身份屬性的高維特征向量；

步驟3、采用監督詞袋模型對VGM輸出層輸出的高維特征向量進行二次編碼，丟棄冗余特征，獲得具有有效信息的m維特征向量，m的大小根據最終識別性能和系統耗時性而定；

步驟4、將m維特征向量輸入到改進型SVM分類器-LDM進行身份信息和性別信息的分類，完成非端對端的靜脈識別任務，得到分類結果。

2.根據權利要求1所述的基于靜脈相似圖像知識遷移網絡的多模態身份認證方法，其特征在于，步驟2中，所述線性回歸分類器對FRM、VIM和VGM微調過程中求解高維特征向量，具體如下：

假設一個深度卷積神經網絡模型DCNN有K+1層，其中第k-th層設有d_k個單元，其中k∈[1，K]，則輸入訓練樣本圖像的灰度矩陣中的一個值x在DCNN第k-th層的輸出如式(1)所示：

其中，W^(k)表示當前層的卷積權重，b^(k)表示當前層的偏置參數H^(k)表示第k-th個隱層的特征表征結果，表示層間連接時的數據傳輸運算準則；

FRM，VIM，VGM的主要卷積權重和偏置參數表示為：和

基于線性回歸分類器微調過程中，對于給定輸入訓練樣本(x_i，y_i)，i表示當前樣本圖像，采用的分類誤差L(W^(k)，b^(k)，C)表示如式(2)：

其中，表示矩陣的Frobenius范數，X＝{x₁，...x_m}表示給定輸入訓練樣本圖像的灰度矩陣，Y＝{y₁，...y_m}表示對于給定輸入訓練樣本圖像的灰度矩陣，用于表示真實值，C為線性回歸分類器的模型參數；

對于經過邏輯回歸改進的網絡模型的訓練過程是通過調用隨機子梯度下降策略對目標函數(2)進行優化求解，具體針對W^(k)，b^(k)，C三個模型參數的子梯度的計算方法如下：

首先用于特定梯度計算的中間變量D^k，如式(3)所示：

基于(3)所定義的中間變量，得到的對于三個模型參數的梯度計算和模型求解方法如下所示：

當基于給定輸入和模型定義后解得上述梯度后，利用L-BFGS將梯度解代入式(4)進行無約束模型求解分別得到FRM，VIM，VGM對應的高維特征向量。