[發明專利]一種基于視頻圖像心率檢測及活體檢測的人臉識別系統

有效

• 申請號: 202011335221.6
• 申請日: 2020-11-24
• 公開（公告）號: CN112396011B
• 公開（公告）日: 2023-07-18
• 發明（設計）人: 謝巍;吳少文;周延;余錦偉;許練濠;陳定權
• 申請（專利權）人: 華南理工大學
• 主分類號: G06V40/40
• 分類號: G06V40/40;G06V40/16;G06V10/77;G06V10/764;G06V10/82;G06N3/0464;G06N3/08;A61B5/024;A61B5/0205;A61B5/01
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍;江裕強

1.一種基于視頻圖像心率檢測及活體檢測的人臉識別系統，其特征在于，包括圖像采集及預處理模塊、人臉認證主機、后端數據服務器、身份信息與熱成像圖顯示模塊；

所述圖像采集及預處理模塊用于采集紅外熱成像人臉圖像與可見光人臉視頻圖像數據并將人臉圖像數據和人臉溫度數據傳輸至人臉認證主機；

所述后端數據服務器存儲已錄入的人臉圖像數據；

所述人臉認證主機分為活體檢測和人臉識別兩部分，利用人臉溫度數據和人臉圖像數據測量出人臉平均溫度和心率作為活體檢測依據，檢測為活體后，利用可見光人臉視頻圖像數據與已錄入的人臉圖像數據進行特征對比和匹配，得到匹配結果，并將結果傳輸至身份信息與熱成像圖顯示模塊；

身份信息與熱成像圖顯示模塊顯示匹配出的人臉身份信息和當前人體的相關信息；

圖像采集及預處理模塊包括紅外熱成像攝像頭和可見光攝像頭；所述的紅外熱成像攝像頭用于采集到的人臉溫度，通過計算人臉的平均溫度值作為判斷是否為活體的檢測依據；所述的可見光攝像頭用于采集人臉視頻圖像，采用MTCNN網絡檢測人臉位置，選取人臉感興趣區域用于心率檢測，并將采集到的人臉圖像進行幾何歸一化及直方圖均衡化預處理，得到用于特征提取的標準人臉圖像；

人臉認證主機包括人臉活體檢測模塊、特征提取及特征降維模塊和分類器模塊；所述人臉活體檢測模塊首先根據人臉溫度數據計算人臉平均溫度，當溫度滿足設定的范圍，再利用圖像采集及預處理模塊所獲得的人臉圖像數據，根據血液容積變化率和光強變化率的關系：

其中，用于表示血液容積變化率，ΔV_a表示血液體積的變化，V_a表示血液的體積；用于表示光強變化率，ΔI表示光照強度的變化、I表示光照強度，I₀表示光照強度，根據光強變化中求出血液容積變化，將光強轉化為電信號，提取出脈搏信號，排除非活體的人臉圖像數據，再將確定為活體的人臉圖像數據提取的其特征信息與后端數據服務器中的已錄入人臉圖像數據進行對比和匹配，進而對身份進行確認；

所述人臉活體檢測模塊還包括心率檢測，在MTCNN網絡確定人臉的位置后，選取人臉視頻圖像中的感興趣區域(ROI)，對感興趣的區域的視頻幀數計數，對窗口內視頻片段做歐拉視頻放大處理，得到放大微弱的心率信號如下：

其中，α表示放大倍數，δ(t)表示微小平移運動，x表示信號序列的位置，t表示當前的時刻，將歐拉放大處理后的視頻圖像中的每一幀的RGB通道分開，分別計算三通道圖像的感興趣區域內像素的空間平均值，形成對應每一幀的紅綠藍三個信號值，對應窗口內的視頻的每一幀就形成三個原始信號序列；隨后對心率原始信號序列做歸一化和帶通濾波預處理，再對帶通濾波預處理過三個信號序列進行FFT(Fast?Fourier?Transfomationv，FFT)變化，計算三個信號序列的對應功率譜密度，選取G通道信號序列中最大功率對應的頻率作為心率的估計值。

2.根據權利要求1所述的一種基于視頻圖像心率檢測及活體檢測的人臉識別系統，其特征在于，后端數據服務器執行Java、HTML語言指令，用于存儲已錄入人臉圖像數據、匹配信息、系統硬件工作日志以及進行數據處理分析。

3.根據權利要求1所述的一種基于視頻圖像心率檢測及活體檢測的人臉識別系統，其特征在于，人臉認證主機結合Opencv的視覺開源庫，執行Java語言指令。

4.根據權利要求1所述的一種基于視頻圖像心率檢測及活體檢測的人臉識別系統，其特征在于，所述特征提取及特征降維模塊將經過圖像采集及預處理模塊預處理后得到的標準人臉圖像作為特征提取及特征降維模塊的輸入，特征提取及特征降維模塊提取人臉的局部二進制模式(Local?Binary?Patterns，LBP)特征，通過計算LBP直方圖的方式形成LBP特征向量，再利用主成分分析法(Principal?Component?Analysis，PCA主成分分析法)選對人臉特征向量降維，得到降維后的特征向量送入分類器模塊。