[發明專利]基于多攝像機融合的安檢門人臉識別和人臉自動建庫算法

有效

• 申請號: 201810021107.2
• 申請日: 2018-01-10
• 公開（公告）號: CN108256459B
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 張恩偉
• 申請（專利權）人: 北京博睿視科技有限責任公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.基于多攝像機融合的安檢門人臉識別和人臉自動建庫算法，其特征在于：在安檢門上迎著人進入的方向安裝N個攝像機，N≥3，同時對采集到的視頻進行人臉檢測和人臉跟蹤，從每路攝像機人臉跟蹤得到的人臉隊列里，在限定的時間周期內，由人走過安檢門的平均時間計算得到，自動篩選出人臉質量評分最高的人臉M張，M≤N，每路最多篩選出1張人臉；人臉質量評估通過對光照度和清晰度的綜合指標進行，人臉光照度評價指標由全局平均亮度I_AVG、亮度最高值I_MAX、亮度最低值I_MIN通過公式計算得到，同時加入光照對稱性指標人臉清晰度指標通過離散余弦變換DCT后的高頻系數的個數占比來統計，先將圖像劃分為8x8的宏塊，對每個宏塊進行DCT生成8x8的頻域矩陣C，對頻域矩陣中每個位置c_ij，直流分量除外,1≤i,j≤8，都設立一個閾值T_ij，如果DCT后的頻域矩陣當前位置c_ij大于T_ij,則高頻分量的計數器增加一，最終超過閾值的高頻分量總個數占頻域系數總個數的比值作為人臉清晰度指標QUALITY_sharpness；人臉質量綜合指標QUALITY_face＝(QUALITY_brightness+QUALITY_uniformity+QUALITY_sharpness)/3×100％；通過人臉截取對應的上半身圖像，對上半身圖像進行邊緣和顏色的匹配，匹配成功則認為是從同一個人采集得到的人臉，利用人臉姿態估計算法通過人臉三維旋轉模型到二維的投影，三個角度的矩陣，計算這些人臉的水平轉動角度、俯仰角、傾斜角，篩選出人臉角度比較小接近正臉的人臉K張，K≤M，人臉姿態估計算法首先進行人臉特征點提取，特征點包括眼睛、鼻子、嘴角、下巴位置，人臉特征點提取采用5個卷積層、3個池化層和1個全連接層的卷積神經網絡；將這K張人臉通過特征點進行對齊校準后，輸入給深度卷積神經網絡進行人臉特征提取，每張人臉對應一個1024維特征向量，提取K張人臉對應的特征向量共K個；將K個特征向量分別與人臉庫中的人臉特征向量進行比對，如果K張人臉在人臉庫中匹配值有大于等于第一閾值的，則選首位匹配并且匹配值最高的人作為識別的最終輸出，同時把首位匹配的這張抓拍人臉加入到對應的人臉庫中，更新人臉數據庫；如果K張人臉在人臉庫中匹配值都小于第一閾值，則設立第二閾值，大于等于第二閾值，則認為暫時匹配，K張人臉里的每張人臉依次從人臉庫中選出匹配張數最多的人，每個人對應多張入庫人臉，匹配張數分別是L₁,...,L_K，對應的平均匹配值分別是S₁,...,S_K，通過計算匹配綜合評分Score，按照Score排序，選最高Score對應的人作為最終的人臉匹配輸出，同時把對應的這張抓拍的人臉加入到對應的人臉庫中，更新人臉數據庫；如果K張人臉在人臉庫中的匹配值都小于第二閾值，則建立新的人員名單，把這K張人臉作為新建人員在人臉庫中的人臉，在人臉數據庫中添加該人員數據；基于以上提取到的人臉特征，通過多攝像機人臉融合比對算法進行人臉匹配和自動建庫，實現非配合式人臉識別算法。

2.根據權利要求1所述的安檢門人臉識別和人臉自動建庫算法，其特征在于，改進型的基于Haar-like特征的Adaboost算法，即增加了3x3結構的Haar-like特征，能更好的表達人臉眼睛、鼻子和嘴等組合在一起的特征；訓練時負樣本從地鐵安檢門、機場安檢門、重要場館安檢門等場景選取，形成針對安檢門場景特有的人臉檢測算法。

3.根據權利要求1所述的安檢門人臉識別和人臉自動建庫算法，其特征在于，對每個攝像機的出現的人臉進行跟蹤，跟蹤算法采用基于鄰域搜索的卡爾曼濾波跟蹤算法，以目標中心為鄰域搜索起點，通過位置和速度預測，在一定范圍的窗口內搜索距離當前人臉最近的候選人臉，并通過卡爾曼濾波器進行更新。

4.根據權利要求1所述的安檢門人臉識別和人臉自動建庫算法，其特征在于，人臉對齊校準以眼睛、鼻子、嘴角、下巴底部位置坐標為基準點，保持這些基準點的相對位置不變，將人臉圖像裁剪和縮放到固定分辨率，采用的是128x112的人臉分辨率；對齊校準后，人臉特征向量由深度卷積神經網絡提取，該卷積神經網絡由9個卷積層、4個池化層、1個合并層和1個全連接層組成；卷積層采用3x3的卷積核，池化層采用2x2的窗口，合并層將第11和第12層的特征融合，輸出給下一層；該卷積神經網絡每層都進行特征歸一化；該卷積神經網絡訓練時采用了安檢門場景標定后的人臉庫進行訓練。