[發明專利]一種融合行人重識別和人臉檢測的單目標人物跟蹤方法

有效

• 申請號: 202011600521.2
• 申請日: 2020-12-30
• 公開（公告）號: CN112668483B
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 柯逍;劉浩;黃中政;鄭國粦
• 申請（專利權）人: 福州大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V20/40;G06V20/52;G06V10/75;G06V10/764;G06V10/80;G06K9/62;G06F16/532;G06F16/583
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 錢莉;蔡學俊

本發明涉及一種融合行人重識別和人臉檢測的單目標人物跟蹤方法，包括步驟S1：輸入待處理的視頻，得到跟蹤模板；S2：根據模板信息，獲得對應圖像中的人臉圖像，將其進行保存；同時訓練一個在線分類器輔助后續的跟蹤算法；S3：判斷當前預測框中的人臉圖像與S2中保存的人臉圖像是否是同一個人；若是同一個人，則根據預測框信息實現跟蹤目標區域的獲取，否則進入S5；S5：對當前視頻畫面視頻檢測出當前視頻畫面中所有人物的位置信息獲得人物圖像列表；使用fast?ReID行人重識別算法，根據查詢圖像，從待檢索圖像中檢索出相似度最高的圖像，從而實現跟蹤錯誤矯正，并將相似度最高的圖像作為新的跟蹤模板，返回S2。本發明能夠提高單目標人物跟蹤效果。

技術領域

本發明涉及計算機視覺領域領域，特別是一種融合行人重識別和人臉檢測的單目標人物跟蹤方法。

背景技術

作為計算機視覺領域中非常有前景且充滿挑戰的研究課題之一，視頻單目標跟蹤領域的可能性吸引著越來越多的學者投身研究，其中又以跟蹤目標為人物的研究最具有商業價值，可應用于安防，體育視頻分析，影視剪輯等方向。但是由于在現實場景中存在他人與目標衣著相近，目標身體被遮擋，目標短暫消失等原因，跟蹤效果不盡如人意。

發明內容

有鑒于此，本發明的目的是提出一種融合行人重識別和人臉檢測的單目標人物跟蹤方法，能夠有效解決目標被遮擋或消失后跟蹤錯誤的問題和跟蹤目標與背景分類效果差的問題，提高單目標人物跟蹤效果。

本發明采用以下方案實現：一種融合行人重識別和人臉檢測的單目標人物跟蹤方法，具體包括以下步驟：

S1：輸入待處理的視頻，在初始視頻畫面中框選出需要跟蹤的目標作為跟蹤模板；

S2：根據跟蹤模板信息，獲得對應圖像中的人臉圖像，將其進行保存；同時訓練一個在線分類器以輔助后續的跟蹤算法；

S3：將模板與當前視頻畫面作為輸入，使用單目標跟蹤算法，獲得當前視頻畫面中預測框信息，對預測框中的人臉進行識別，并判斷其與S2中保存的人臉圖像是否是同一個人；若是同一個人，則進入S4，否則，進入S5；

S4：根據預測框信息實現跟蹤目標區域的獲取；

S5：對當前視頻畫面視頻進行人物目標檢測，檢測出當前視頻畫面中所有人物的位置信息與對應圖像，根據多個位置信息獲得人物圖像列表；將人物圖像列表作為待檢索圖像輸入，S2中保存人物區域圖像作為查詢圖像輸入，使用改進fast-ReID行人重識別模型，根據查詢圖像，從待檢索圖像中檢索出相似度最高的圖像，從而實現跟蹤錯誤矯正，并將相似度最高的圖像作為新的跟蹤模板，返回S2。

進一步地，所述S1具體為：輸入待處理的視頻，在初始視頻畫面中用垂直框的形式框選出需要跟蹤的目標，獲得跟蹤模板；其中模板由目標的邊界框、邊界框內的裁剪圖像以及整個初始視頻畫面組成。

進一步地，所述S2具體為：

S21：根據跟蹤模板信息，將對應人物裁剪圖像保存在硬盤上；

S22：將跟蹤模板作為輸入，使用MTCNN算法實現對輸入圖像的人臉檢測，得到對應圖像中的人臉圖像；

S23：將初始視頻畫面和模板位置信息作為輸入進行數據增強，包括相對位移,旋轉/水平翻轉/隨機模糊在內的數據增強方式，從而獲得24個樣本，將這些樣本作為模型訓練的輸入，使用牛頓高斯算法進行優化，使最后得到模型的回歸系數不斷逼近非線性回歸模型的最佳回歸系數，提升模型穩健性，訓練10次迭代后模型收斂，從而獲得在線分類器模型。

進一步地，所述S3中所采用的單目標跟蹤算法為SiamRPN++單目標跟蹤算法。

進一步地，所述S3中，所述將模板與當前視頻畫面作為輸入，使用單目標跟蹤算法，獲得當前視頻畫面中預測框信息具體為：