[發明專利]一種基于多語義特征融合網絡的指靜脈識別方法

在審

• 申請號: 202011593048.X
• 申請日: 2020-12-29
• 公開（公告）號: CN112580590A
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 王智霖;沈雷;徐文貴
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種基于多語義特征融合網絡的指靜脈識別方法，其特征在于，包括以下步驟：

S1、采集指靜脈圖像，并進行數據增強，制作訓練集、測試集；

S2、搭建特征提取網絡；

特征提取網絡包括輸入層、改進的殘差模塊、特征融合預處理模塊、池化層和全連接層；

其中所述的輸入層依次包括卷積層、批量正則化層和激活層所述的改進的殘差模塊包括兩個卷積層、兩個批量正則化層、一個激活層和一個注意力機制層，依次為一個批量正則化層，一個卷積層，一個激活層，然后再經過一個卷積層，一個批量正則化層，最后經過一個注意力機制層；所述的特征融合預處理模塊依次包括批量正則化層、卷積層、激活層和池化層；

S3、構建損失函數；

網絡模型的損失函數采用Softmax損失函數與中心損失函數共同約束，使得網絡能夠更好的聚攏類內圖像距離，增加類間圖像距離，提高網絡的分類能力，進而擁有更加準確的特征表征能力；

S4、訓練網絡；

將S1制作好的訓練集輸入S3構建的特征提取網絡中，直到訓練精度恒定，完成特征提取網絡的訓練，并保存特征提取網絡模型；

S5、測試網絡；

將測試集中的待分類圖像輸入到S4保存的特征提取網絡模型中，獲取待分類圖像的圖像特征，并且對特征進行匹配計算，獲取識別結果。

2.根據權利要求1所述的一種基于多語義特征融合網絡的指靜脈識別方法，其特征在于，S1具體操作如下：

采集指靜脈圖像，并通過旋轉、平移、縮放、亮度變換、添加噪聲對現有指靜脈圖像進行處理，得到數據增強的樣本圖像，將獲得的樣本圖像分為訓練集和測試集。

3.根據權利要求2所述的一種基于多語義特征融合網絡的指靜脈識別方法，其特征在于，S2搭建特征提取網絡，具體操作如下：

特征提取網絡包括輸入層、改進的殘差模塊、特征融合預處理模塊、池化層和全連接層；將指靜脈圖像輸入網絡輸入層處理，經過3個改進的殘差塊后提取圖像較淺層特征，并進行特征融合前的預處理得到特征x₁；再經過4個改進的殘差塊后提取圖像較深層特征，并進行特征融合前的預處理得到特征x₂；然后經過6個改進的殘差塊后提取圖像深層特征，并進行特征融合前的預處理得到特征x₃；最后經過3個改進的殘差塊提取圖像網絡最深層特征，然后將提取的不同層語義特征融合，在經過池化層后輸入全連接層，進行分類；

所述的輸入層，包括普通卷積操作(Conv2D)，具體參數為：輸入通道為1，輸出通道為64，卷積核大小為3×3，步長為1，Padding為1；再經過批量正則化(Batch Normalization,BN)和激活函數(Activation)，其中激活函數采用PRelu；

所述的改進的殘差模塊包括兩個卷積層、兩個批量正則化層、一個激活層和一個注意力機制層；依次為一個批量正則化層，一個卷積層，一個激活層，然后再經過一個卷積層，一個批量正則化層，最后經過一個注意力機制層；當模塊的輸入與輸出通道維度不相等時，需要經過卷積操作升維，使得二者保持通道維度一致，具體參數為：卷積核大小為1×1，步長根據輸入通道與輸出通道的倍數關系決定；所述的注意力機制層采用SE注意力機制，使得網絡模型可以自動學習特征圖各通道的重要程度；

特征融合預處理模塊依次包括卷積層、批量正則化層、激活層和池化層，為了確保網絡進行特征融合時，網絡淺層到高層特征能夠具有相同權重，需要保持特征圖大小一致，因此需要對特征圖進行預處理，同時對不同層特征進行非線性映射，起到激活作用。