[發(fā)明專利]一種基于多種脈搏波與人臉的多模態(tài)身份認(rèn)證系統(tǒng)及其認(rèn)證方法

在審

• 申請?zhí)枺?/td>: 202211228726.1
• 申請日: 2022-10-09
• 公開（公告）號: CN115620360A
• 公開（公告）日: 2023-01-17
• 發(fā)明（設(shè)計）人: 孟濬;厲夢菡;傅幼萍
• 申請（專利權(quán)）人: 浙江大學(xué);浙江理工大學(xué);紅河創(chuàng)新技術(shù)研究院有限責(zé)任公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/74;G06V40/14;G06V40/70
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 劉靜

1.一種基于多種脈搏波與人臉的多模態(tài)身份認(rèn)證系統(tǒng)，其特征在于，該系統(tǒng)包括：

接觸式脈搏波獲取模塊，用于獲取接觸式手指脈搏波；

手背視頻獲取模塊，用于獲取手背的非接觸式脈搏波；

人臉視頻獲取模塊，用于獲取人臉視頻，進(jìn)一步獲取人臉圖像和人臉的非接觸式脈搏波；

接觸式手指脈搏波特征提取模塊，用于對接觸式脈搏波獲取模塊獲取的接觸式手指脈搏波信號進(jìn)行預(yù)處理和特征提取，獲取用戶的接觸式手指脈搏波特征向量；

人臉特征提取模塊，用于對人臉視頻獲取模塊獲取的人臉圖像進(jìn)行預(yù)處理和特征提取，獲取用戶的人臉特征向量；

接觸式手指脈搏波特征認(rèn)證模塊，用于對用戶的第二接觸式手指脈搏波信號的特征向量與第一接觸式手指脈搏波信號的特征向量進(jìn)行相似度比較驗證；

人臉特征認(rèn)證模塊，用于對用戶的第二人臉圖像的特征向量與第一人臉圖像的特征向量進(jìn)行相似度比較驗證；

雙脈搏波相似性驗證模塊，用于對用戶的非接觸式手背脈搏波信號和非接觸式人臉脈搏波信號進(jìn)行相似性分析，判斷雙脈搏波是否屬于同一認(rèn)證主體；

根據(jù)接觸式手指脈搏波特征認(rèn)證模塊、人臉特征認(rèn)證模塊和雙脈搏波相似性驗證模塊的共同驗證結(jié)果生成最終的身份認(rèn)證結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種基于多種脈搏波與人臉的多模態(tài)身份認(rèn)證系統(tǒng)，其特征在于，所述的接觸式脈搏波獲取模塊包括紅外脈搏波傳感器，所述紅外脈搏波傳感器包括紅外指夾探頭和采集模塊，用于采集接觸式手指脈搏波信號。

3.根據(jù)權(quán)利要求1所述的一種基于多種脈搏波與人臉的多模態(tài)身份認(rèn)證系統(tǒng)，其特征在于，所述的手背視頻獲取模塊包括攝像頭A；所述攝像頭A用于記錄用戶手背視頻，進(jìn)一步獲取手背的非接觸式脈搏波。

4.根據(jù)權(quán)利要求1所述的一種基于多種脈搏波與人臉的多模態(tài)身份認(rèn)證系統(tǒng)，其特征在于，所述的人臉視頻獲取模塊包括攝像頭B；所述攝像頭B用于獲取人臉視頻，進(jìn)一步獲取人臉圖像和人臉的非接觸式脈搏波。

5.根據(jù)權(quán)利要求1述的一種基于多種脈搏波與人臉的多模態(tài)身份認(rèn)證系統(tǒng)，其特征在于，所述的脈搏波信號預(yù)處理和特征提取具體為：將采集到的脈搏波進(jìn)行小波閾值去噪；對去噪后的脈搏波信號進(jìn)行峰值檢測，分割出單周期脈搏波；對單周期脈搏波進(jìn)行核主成分分析和主成分分析，完成對脈搏波信號的降維并得到特征向量。

6.根據(jù)權(quán)利要求1述的一種基于多種脈搏波與人臉的多模態(tài)身份認(rèn)證系統(tǒng)，其特征在于，所述的接觸式手指脈搏波特征認(rèn)證模塊和人臉特征認(rèn)證模塊的相似度比較具體為：計算認(rèn)證階段提取的脈搏波(或人臉)特征向量X(x₁,x₂,…,x_n)與數(shù)據(jù)庫中存儲的各個注冊用戶的脈搏波(或人臉)特征向量Y₁(y₁₁,y₁₂,…,y_1n)、Y₂…Y_m的歐氏距離：

使用k近鄰分類器(k-Nearest Neighbor,KNN)進(jìn)行分類識別和相似度比較。

7.根據(jù)權(quán)利要求1所述的一種基于多種脈搏波與人臉的多模態(tài)身份認(rèn)證系統(tǒng)，其特征在于，所述的非接觸式手背脈搏波信號和非接觸式人臉脈搏波信號進(jìn)行相似性分析具體為：記手背脈搏波信號為P₁，人臉脈搏波信號為P₂；對P₁和P₂進(jìn)行幅值和時間的歸一化，記為P₁′、P₂′；再計算P₁′和P₂′的歐式距離d(P₁′,P₂′)，若d(P₁′,P₂′)小于閾值，則判定P₁和P₂屬于同一主體。