[發明專利]基于角度估計的人臉步態多模態加權融合身份識別方法與系統

在審

• 申請號: 202111656969.0
• 申請日: 2021-12-30
• 公開（公告）號: CN114333023A
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 蔣慶坤;阮永橋;張興;陳煒
• 申請（專利權）人: 長訊通信服務有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V20/52;G06V10/26;G06V10/34;G06V10/44;G06V10/74;G06V10/774;G06V10/80;G06V10/82;G06K9/62;G06F21/32;G06N3/04;G06N3/08
• 代理公司: 北京天奇智新知識產權代理有限公司 11340
• 代理人: 陳新勝

1.一種基于角度估計的人臉步態多模態加權融合身份識別方法，其特征在于，包括：

S1采集人臉RGB圖像及行人步態圖像序列；

S2在包含人臉的圖像數據中定位出人臉位置并裁剪，同時進行人臉關鍵點檢測；

S3利用人臉關鍵點坐標集對人臉角度進行估計；

S4判斷人臉圖像質量，對符合質量的人臉圖像進行特征提取，對不符合質量的圖像進行篩除；

S5將質量符合的人臉圖像輸入至深度卷積神經網絡中進行特征提取；

S6將采集到的行人步態序列圖像進行行人實例分割，分割出行人輪廓掩膜，得到對應目標的步態輪廓圖；

S7通過質量估計模塊估計步態輪廓質量，并對質量較低的輪廓圖進行圖像補全；

S8對符合質量步態輪廓圖序列及補全后的步態輪廓圖序列進行特征提取；

S9基于人臉角度估計進行多模態加權融合。

2.根據權利要求1所述的基于角度估計的人臉步態多模態加權融合身份識別方法，其特征在于，所述S1中將行走視頻或包含人臉的圖像數據輸入至人臉模塊和步態模型進行身份識別。

3.根據權利要求1所述的基于角度估計的人臉步態多模態加權融合身份識別方法，其特征在于，所述S2中利用深度神經網絡MTCNN進行人臉檢測，得出人臉圖像及其關鍵點坐標。

4.根據權利要求1所述的基于角度估計的人臉步態多模態加權融合身份識別方法，其特征在于，所述S3具體包括：利用人臉圖像對應的關鍵點坐標集P_source{u，v}，與預設的正臉關鍵點三維坐標集Q_target{X_w，Y_w，Z_w}進行聯合求解得到其旋轉矩陣R_3×3和平移向量t_3×1：

利用opencv的solvePnP函數進行求解；將的得到的旋轉矩陣R_3×3轉為歐拉角{θ_x，θ_y，θ_z}：

θ_x＝arctan(R₃₂，R₃₃)

θ_z＝arctan(R₂₁，R₁₁)

以此對目標對象進行角度估計。

5.根據權利要求1所述的基于角度估計的人臉步態多模態加權融合身份識別方法，其特征在于，所述S5中將提取到的特征與人臉數據庫中已注冊的人臉特征計算余弦相似度，得到人臉匹配分數F_face。

6.根據權利要求1所述的基于角度估計的人臉步態多模態加權融合身份識別方法，其特征在于，所述S7中質量估計模塊為一個輕量化的二分類分類器，具體包括將分割出來的步態輪廓圖輸入至輕量化的二分類分類器篩選出質量較低的輪廓圖，進行腐蝕膨脹圖像操作處理以進行圖像補全。

7.根據權利要求1所述的基于角度估計的人臉步態多模態加權融合身份識別方法，其特征在于，所述S8具體包括將符合質量和補全后的步態輪廓圖序列輸入至GaitSet深度步態特征提取網絡中進行特征提取，將提取到的特征與步態數據庫中已注冊的步態特征計算余弦相似度，得到步態匹配分數F_gait。

8.根據權利要求1所述的基于角度估計的人臉步態多模態加權融合身份識別方法，其特征在于，所述S9具體包括：將目標對象的拍攝角度定義為0°、45°、90°、135°，利用人臉圖像關鍵點進行的角度估計，以偏轉角度與四個區間角度的最小差值作為目標對象偏轉區間，目標落于90°、45°和135°、0°時采用不同的加權策略，如下公式：

其中，F_face為人臉匹配分數，F_gait為步態匹配分數，在90°時，人臉匹配分數的權重與步態權重的比例為2∶1最高，在45°和135°區間時比例為1∶1，在0°/180°時為1∶2最低。

9.一種基于角度估計的人臉步態多模態加權融合身份識別系統，其特征在于，所述系統包括：

人臉模塊，用于對采集圖像進行人臉檢測并裁剪人臉圖，將人臉圖像輸入至人臉質量估計模塊篩選出質量達標的待識別圖像，利用深度神經網絡提取的人臉特征與人臉特征數據庫進行匹配，得到人臉身份分數；

步態模塊，用于對采集的行人圖像序列，進行行人實例分割得到步態輪廓圖，輸入至步態輪廓質量估計模塊，對符合質量要求的步態輪廓序列圖進行步態特征提取，并與步態數據庫中的步態特征進行匹配得到步態身份分數，對質量不滿足的步態輪廓圖則是利用圖像處理進行補全后進行身份識別；

加權融合模塊，用于將目標對象的拍攝角度定義為0°、45°、90°、135°四個區間，利用人臉圖像關鍵點進行的角度估計，根據角度偏轉區間對人臉和步態的匹配分數進行加權融合，得到最終的身份識別結果。