[發明專利]一種融合空間運動和表觀特征學習的多目標跟蹤方法

在審

• 申請號: 202010893678.2
• 申請日: 2020-08-31
• 公開（公告）號: CN112084914A
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 趙杰
• 申請（專利權）人: 的盧技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06T7/246;G06T7/277
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 姜慧勤

1.一種融合空間運動和表觀特征學習的多目標跟蹤方法，其特征在于，包括如下步驟：

步驟1，利用yolo5方法對當前幀上的目標物體進行檢測，獲取各目標物體在當前幀中的位置；

步驟2，采用卡爾曼濾波方法預測當前幀上各目標物體的位置，得到各目標物體的預測位置，對于每個目標物體，利用預測位置校正步驟1獲取的位置，得到最終位置；

步驟3，利用卷積神經網絡方法通過最終位置獲取各目標物體的特征描述向量；

步驟4，對于當前幀上的第j個目標物體，采用融合空間運動信息和表觀特征信息的目標相似性度量方法，計算其與當前幀的歷史幀中已匹配跟蹤器的各目標物體的相似度；

當前幀上的第j個目標物體與當前幀的歷史幀中已匹配跟蹤器的第i個目標物體的相似度d為：

d＝w1*d1+w2*(1-d2)

其中，w1、w2均為權重參數，d1表示當前幀上的第j個目標物體的特征描述向量與當前幀的歷史幀中已存在的標識為i的跟蹤器所對應的目標物體的特征描述向量之間的最小相似距離，d2表示交集與并集的比值，其中，交集為當前幀上的第j個目標物體的目標框與當前已存在的標識為i的跟蹤器所在的最近歷史幀中目標框的交集，并集為當前幀上的第j個目標物體的目標框與當前已存在的標識為i的跟蹤器所在的最近歷史幀中目標框的并集；

步驟5，將相似度作為二維數組的元素，二維數組的行代表已存在的跟蹤器，列代表當前幀的目標物體，設置閾值t，判斷二維數組中的各元素與閾值的大小，并據此為當前幀上的各目標物體匹配跟蹤器；

步驟6，對于當前幀上未匹配到跟蹤器的目標物體，為其創建新的跟蹤器，并將新的跟蹤器的狀態記為臨時狀態；若該新的跟蹤器在當前幀接下來的3幀中均能匹配到目標物體，則將該新的跟蹤器的狀態記為保留狀態，即保留該新的跟蹤器，否則將該新的跟蹤器的狀態記為刪除狀態，即刪除該新的跟蹤器。

2.根據權利要求1所述融合空間運動和表觀特征學習的多目標跟蹤方法，其特征在于，步驟2所述采用卡爾曼濾波方法預測當前幀上各目標物體的位置，得到各目標物體的預測位置，具體為：

對于某個目標物體，從當前幀的歷史幀中選擇跟蹤到該目標物體的那些幀，并從中選取離當前幀最近的那一幀，根據該目標物體在離當前幀最近的那一幀的位置預測該目標物體在當前幀的位置，得到該目標物體的預測位置。

3.根據權利要求1所述融合空間運動和表觀特征學習的多目標跟蹤方法，其特征在于，步驟4所述當前幀上的第j個目標物體的特征描述向量與當前幀的歷史幀中已存在的標識為i的跟蹤器所對應的目標物體的特征描述向量之間的最小相似距離d1的計算公式如下：

其中，d1表示最小相似距離，r_j表示當前幀上第j個目標物體的特征描述向量，上標^T表示轉置，表示當前幀的第k個歷史幀中已存在的標識為i的跟蹤器所對應的目標物體的特征描述向量，R表示歷史幀的集合。

4.根據權利要求1所述融合空間運動和表觀特征學習的多目標跟蹤方法，其特征在于，步驟4所述當前幀的歷史幀具體指的是當前幀的前1幀至當前幀的前100幀。

5.根據權利要求1所述融合空間運動和表觀特征學習的多目標跟蹤方法，其特征在于，步驟4所述權重w1＝0.7。

6.根據權利要求1所述融合空間運動和表觀特征學習的多目標跟蹤方法，其特征在于，步驟4所述最近歷史幀以及權重w2的選擇規則如下：

若匹配第i個目標物體的跟蹤器的狀態為保留狀態，則最近歷史幀即為當前幀的前1幀，權重w2＝0.3；

若匹配第i個目標物體的跟蹤器的狀態為臨時狀態，則確定該跟蹤器是從哪一幀開始出現的，若該跟蹤器是從當前幀的前1幀出現，則最近歷史幀即為當前幀的前1幀，權重w2＝0.3；若該跟蹤器是從當前幀的前2幀出現，則最近歷史幀即為當前幀的前2幀，權重w2＝0.2；該跟蹤器是從當前幀的前3幀出現，則最近歷史幀即為當前幀的前3幀，權重w2＝0.1。