[發明專利]一種融合行人重識別和人臉檢測的單目標人物跟蹤方法

有效

• 申請號: 202011600521.2
• 申請日: 2020-12-30
• 公開（公告）號: CN112668483B
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 柯逍;劉浩;黃中政;鄭國粦
• 申請（專利權）人: 福州大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V20/40;G06V20/52;G06V10/75;G06V10/764;G06V10/80;G06K9/62;G06F16/532;G06F16/583
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 錢莉;蔡學俊

1.一種融合行人重識別和人臉檢測的單目標人物跟蹤方法，其特征在于，包括以下步驟：

S1：輸入待處理的視頻，在初始視頻畫面中框選出需要跟蹤的目標作為跟蹤模板；

S2：根據跟蹤模板信息，獲得對應圖像中的人臉圖像，將其進行保存；同時訓練一個在線分類器以輔助后續的跟蹤算法；

S3：將模板與當前視頻畫面作為輸入，使用單目標跟蹤算法，獲得當前視頻畫面中預測框信息，對預測框中的人臉進行識別，并判斷其與S2中保存的人臉圖像是否是同一個人；若是同一個人，則進入S4，否則，進入S5；

S4：根據預測框信息實現跟蹤目標區域的獲取；

S5：對當前視頻畫面視頻進行人物目標檢測，檢測出當前視頻畫面中所有人物的位置信息與對應圖像，根據多個位置信息獲得人物圖像列表；將人物圖像列表作為待檢索圖像輸入，S2中保存人物區域圖像作為查詢圖像輸入，使用改進fast-ReID行人重識別模型，根據查詢圖像，從待檢索圖像中檢索出相似度最高的圖像，從而實現跟蹤錯誤矯正，并將相似度最高的圖像作為新的跟蹤模板，返回S2；

所述S2具體為：

S21：根據跟蹤模板信息，將對應人物裁剪圖像保存在硬盤上；

S22：將跟蹤模板作為輸入，使用MTCNN算法實現對輸入圖像的人臉檢測，得到對應圖像中的人臉圖像；

S23：將初始視頻畫面和模板位置信息作為輸入進行數據增強，包括相對位移,旋轉/水平翻轉/隨機模糊在內的數據增強方式，從而獲得24個樣本，將這些樣本作為模型訓練的輸入，使用牛頓高斯算法進行優化，使最后得到模型的回歸系數不斷逼近非線性回歸模型的最佳回歸系數，提升模型穩健性，訓練10次迭代后模型收斂，從而獲得在線分類器模型；

所述S3中，所述將模板與當前視頻畫面作為輸入，使用單目標跟蹤算法，獲得當前視頻畫面中預測框信息具體為：

將當前視頻畫面作為輸入，使用S2中獲得的在線分類器，獲得置信圖，得到第一分類得分，同時使用SiamRPN++單目標跟蹤算法獲得第二分類得分，將第一分類得分與第二分類的得分進行加權融合，作為SiamRPN++單目標跟蹤算法的最終預測框的分類得分，從而輔助SiamRPN++對當前視頻畫面的分類判斷，獲得更加準確更具魯棒性的預測目標框與圖像；

所述改進fast-ReID行人重識別模型包括特征提取層、特征優化模塊以及聚合層；

所述特征提取層由ResNet-50，ResNeXt，ResNeSt三種網絡組成，用于獲得對應特征，并將三種特征進行相加；

所述特征優化模塊用于對相加后的特征進行優化，所述特征優化模塊包括局部注意力模塊以及實例批歸一化模塊；

所述聚合層用于對優化后的特征進行池化操作，提取更具有代表性的特征；

其中，聚合層采用最大池化、平均池化、GeM池化和注意力池化四種聚合方式，公式分別如下：

公式中，f_{Max Pooling}為最大池化，f_{Avg Pooling}為平均池化，f_{Gem Pooling}為GeM池化，f_{Attention Pooling}為注意力池化，X_c為輸入權重，α為控制系數，H_c為softmax注意力權重，K_c為輸入權重，h屬于H_c，k屬于K_c。

2.根據權利要求1所述的一種融合行人重識別和人臉檢測的單目標人物跟蹤方法，其特征在于，所述S1具體為：輸入待處理的視頻，在初始視頻畫面中用垂直框的形式框選出需要跟蹤的目標，獲得跟蹤模板；其中模板由目標的邊界框、邊界框內的裁剪圖像以及整個初始視頻畫面組成。

3.根據權利要求1所述的一種融合行人重識別和人臉檢測的單目標人物跟蹤方法，其特征在于，所述S3中所采用的單目標跟蹤算法為SiamRPN++單目標跟蹤算法。

4.根據權利要求1所述的一種融合行人重識別和人臉檢測的單目標人物跟蹤方法，其特征在于，步驟S3中，采用InsightFace人臉識別算法對預測框中的人臉進行識別，并判斷當前預測框中出現的人臉與S2中保存的人臉圖像是否為同一個人，即判斷預測框是否跟蹤了一個錯誤的目標。