[發明專利]統一目標運動感知和重識別網絡的在線多目標跟蹤方法

有效

• 申請號: 202110649381.6
• 申請日: 2021-06-10
• 公開（公告）號: CN113313736B
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 王菡子;王英
• 申請（專利權）人: 廈門大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/62;G06T7/66;G06T7/73;G06V40/10;G06V10/44;G06V10/75;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廈門南強之路專利事務所(普通合伙) 35200
• 代理人: 馬應森

1.統一目標運動感知和重識別網絡的在線多目標跟蹤方法，其特征在于包括以下步驟：

A.將當前幀圖像與前一幀圖像輸入到骨干網絡，獲得兩幀圖像的特征圖；

B.將前一幀圖像的熱力圖與步驟A提取的兩個特征圖同時送入檢測與跟蹤分支，獲得計算當前幀檢測結果所需的熱力圖和長寬，以及目標的跟蹤偏移量；

所述獲得計算當前幀檢測結果所需的熱力圖和長寬，以及目標的跟蹤偏移量進一步包括以下子步驟：

B1.設當前幀為第t幀，將第t幀圖像和第t-1幀圖像、熱力圖輸入檢測與跟蹤分支，基于無錨點的檢測網絡CenterNet預測第t幀目標中心點位置和長寬通過損失L_center回歸中心點位置，所述損失L_center計算方式如下：

其中，分別表示第t幀第i個目標的預測和真實中心點位置，N為當前序列中的目標總數；使用smooth L1通過損失L_size來回歸目標邊界框長寬；

B2.基于完全交并比損失，使用損失L_bbox擬合邊界框長寬比，進一步約束邊界框重疊區域面積和中心點距離；所述損失L_bbox計算方式如下：

其中，φ為預測和真實邊界框之間的交并比，d(·)表示兩個中心點之間的歐氏距離，σ表示覆蓋兩個邊界框的最小矩形的對角線長度，系數α和υ用來平衡預測框長寬比與真實框長寬比的一致性；

B3.對第t幀中的每個目標，預測對應中心點的二維跟蹤偏移量所述跟蹤偏移量計算方式如下：

B4.通過目標中心點和長寬的損失L_offset學習跟蹤偏移量，所述損失L_offset計算方式如下：

在網絡訓練階段，輸入圖像為視頻序列第一幀或圖像序列時，可不輸入前一幀的圖像和熱力圖，同時，方法允許輸入與當前幀間隔τ幀的前序幀，所述τ∈[0,5]；

C.將步驟A獲得的兩幀圖像的特征圖送入重識別分支，獲得嵌入特征向量，存儲于重識別特征向量池中；

D.根據跟蹤偏移量，使用數據關聯算法對步驟B獲得的檢測結果進行第一次匹配，將檢測結果分為已匹配的檢測和未匹配的檢測，為已匹配的檢測分配對應目標的身份識別；

E.對步驟D獲得的未匹配檢測結果進行第二次匹配，將未匹配檢測結果與步驟C獲得的嵌入特征向量逐一進行相似性計算，根據設定的閾值δ，為不同檢測結果分配身份識別，即獲得當前幀最終的跟蹤結果。

2.如權利要求1所述統一目標運動感知和重識別網絡的在線多目標跟蹤方法，其特征在于在步驟A中，所述骨干網絡采用DLA-34網絡進行改造；DLA-34網絡由迭代深度聚合模塊和層次深度聚合模塊組成；將DLA-34網絡的上采樣模塊中所有普通卷積層換成可形變卷積層，根據不同尺度的目標動態調整感受野；同時，在DLA-34網絡的下采樣模塊中插入目標運動感知模塊，使網絡更加關注目標偏移信息；所述目標運動感知模塊基于自注意力機制，首先，分別使用核為H×1和1×W的平均池化層編碼水平和垂直方向上的輸入特征，將兩個方向上的特征拼接，送入一個1×1的二維卷積層和Sigmoid激活層提取特征，然后拆分該特征，對拆分后的特征使用另外兩個1×1的二維卷積層和Sigmoid激活層，提取水平和垂直方向上的特征，最后，將兩個方向上的特征作為權重向量作用于原輸入特征，經過下采樣后得到輸出特征。

3.如權利要求1所述統一目標運動感知和重識別網絡的在線多目標跟蹤方法，其特征在于在步驟C中，所述重識別分支由一個二維卷積層與一個批歸一化層組成，用于為每個目標提取一個128維的嵌入特征向量；在重識別網絡訓練階段，將嵌入特征向量的學習看成一個二分類問題，劃分所有具有相同身份標識的目標為同一類別，使用位置在目標中心點的嵌入特征向量訓練；網絡學習提取目標的嵌入特征向量E_p，并將該向量映射到一個類別分布向量P＝{ρ(k),k∈[1,K]}中，損失函數L_id定義為：

其中，L_i(k)表示第i個目標的真實類別標簽的one-hot編碼，K表示類別總數；

在重識別網絡推理階段，從圖像中提取每個目標的嵌入特征向量，并存儲于重識別特征向量池。