[發明專利]基于頭部軀干特征進行多目標跟蹤的方法

有效

• 申請號: 202011076008.8
• 申請日: 2020-10-10
• 公開（公告）號: CN112200076B
• 公開（公告）日: 2023-02-21
• 發明（設計）人: 柯逍;葉宇;李悅洲
• 申請（專利權）人: 福州大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V20/40;G06V10/80
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 陳明鑫;蔡學俊

本發明涉及一種基于頭部軀干特征進行多目標跟蹤的方法，包括以下步驟：步驟S1：獲取視頻中行人檢測的結果，并對結果進行篩選，刪除錯誤的檢測結果；步驟S2：對篩選后的檢測結果進行預處理后，輸入到人體關鍵點檢測網絡中，得到所有的人體關鍵點；步驟S3：對得到的每個行人的關鍵點進行篩選，選取頭部以及肩膀的關鍵點進行組合，獲得頭部軀干特征；步驟S4：將得到的單個行人的頭部軀干特征輸入到跟蹤器中進行初始化，進而對目標進行跟蹤。本發明能夠有效地提取檢測框中的頭部軀干特征，使得跟蹤器在初始化的時候獲取的有效信息占比最大化。

技術領域

本發明涉及計算機視覺領域，具體涉及一種基于頭部軀干特征進行多目標跟蹤的方法。

背景技術

多目標跟蹤即Multiple Object Tracking(MOT)。其主要任務是給定一個圖像序列，找到圖像序列中運動的物體，并將不同幀中的運動物體一一對應(Identity),然后給出不同物體的運動軌跡。目前學術界在多目標跟蹤(MOT)問題上采用的主流框架是TBD(Tracking-by-Detection)，也就是基于檢測的跟蹤，在這一主流的跟蹤框架中，多目標跟蹤問題被表述為一個關聯匹配問題：某一幀獲得的檢測結果如果與上一幀獲得的檢測結果相匹配，從而認定為同一個目標。

隨著近年來單目標跟蹤器不斷發展，出現了大量跟蹤效果好且運行速度快的跟蹤器。在之前的工作中，已經有人將單目標跟蹤器應用于多目標跟蹤任務上，并取得了一定的效果，但是單目標跟蹤器在復雜場景中(例如MOT19數據集)的表現并不理想，因為復雜場景中，檢測框內包含了大量的冗余特征和干擾信息，用這些特征和信息來初始化跟蹤器會對跟蹤效果產生極大的影響。

發明內容

有鑒于此，本發明的目的在于提供一種基于頭部軀干特征進行多目標跟蹤的方法，能夠有效地提取檢測框中的頭部軀干特征，使得跟蹤器在初始化的時候獲取的有效信息占比最大化。

為實現上述目的，本發明采用如下技術方案：

一種基于頭部軀干特征進行多目標跟蹤的方法，包括以下步驟：

步驟S1：獲取視頻中行人檢測的結果，并對結果進行篩選，刪除錯誤的檢測結果；

步驟S2：對篩選后的檢測結果進行預處理后，輸入到人體關鍵點檢測網絡中，得到所有的人體關鍵點；

步驟S3：對得到的每個行人的關鍵點進行篩選，選取頭部以及肩膀的關鍵點進行組合，獲得頭部軀干特征；

步驟S4：將得到的單個行人的頭部軀干特征輸入到跟蹤器中進行初始化，進而對目標進行跟蹤。

進一步的，所述步驟S1具體為：

步驟S11:對視頻每一幀圖像進行預處理后，利用目標檢測網絡對其進行檢測；

步驟S12：利用行人檢測器對視頻每一幀的信息進行檢測，獲得檢測結果R，令R＝{K_i,P_j,det_x,det_y,det_w,det_h,det_c},i＝1,2,...M,j＝1,2,...N，表示一個視頻序列中所有檢測結果的集合，其中M表示一個視頻序列中所有圖像幀的數量，N表示一幀圖像中所有被檢測到的行人的數量，K_i表示一個視頻序列中的第i幀圖像，P_j表示此幀圖像中的第j個行人，det_x,det_y,det_w,det_h分別表示這個行人的檢測框左上角的x坐標、y坐標、以及檢測框的寬和高，det_c表示這個檢測框的置信度；

步驟S13：令行人檢測置信度閾值為T_d，行人寬高比閾值為T_r，刪除滿足下列條件的檢測結果：

det_c＜T_d or det_w/det_h＞T_r。

進一步的，所述步驟S2具體為：