[發明專利]一種基于孿生網絡和反向傳播的車輛實時跟蹤方法

有效

• 申請號: 202010013947.1
• 申請日: 2020-01-07
• 公開（公告）號: CN111242974B
• 公開（公告）日: 2023-04-11
• 發明（設計）人: 李驁;羅雷
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/62
• 代理公司: 北京同恒源知識產權代理有限公司 11275
• 代理人: 趙榮之

本發明涉及基于孿生網絡和反向傳播的車輛實時跟蹤方法，屬于智能交通管理技術領域，本發明首先設計了基于孿生網絡的前向位置預測，以減少錯誤檢測的干擾，同時進行了反向預測進行驗證，以減少前向位置預測方法產生的誤匹配，最后基于檢測器置信度和前向位置預測置信度得分，通過加權融合的方法得到最終軌跡。本發明具有速度快，跟蹤準確率高等優點，適于推廣應用。

技術領域

本發明屬于智能交通管理技術領域，涉及一種基于孿生網絡和反向傳播的車輛實時跟蹤方法。

背景技術

車輛跟蹤是智能交通系統(ITS)的關鍵技術。它為交通流預測、車輛監控、道路狀況分析等應用提供了基礎信息。與一般的多目標跟蹤(MOT)相比，車輛的運動通常比人的更為規律，這似乎有利于跟蹤任務。然而，由于至少兩個原因，車輛跟蹤面臨著更多的挑戰。首先，由于車型數量有限，車輛之間的外觀相似度普遍高于人。其次，特別是在城市道路上，擁擠的交通常常造成極為嚴重的車輛間遮擋。現今大多數跟蹤器遵循基于檢測的跟蹤策略，該策略通過相鄰幀間的檢測器檢測結果來進行目標關聯。不難理解得是，這種策略的可靠性在很大程度上取決于檢測器的精度。然而，由于環境復雜，檢測輸出往往是存在噪聲的。為了解決這一問題，結合多種特征如外觀特征和語義特征等的方法被相繼提出。

隨著深度學習的發展，許多基于深度神經網絡的跟蹤器被提出用于單目標跟蹤(SOT)。其中，一種叫做孿生神經網絡的網絡結構引起了人們的廣泛關注。孿生網絡由兩個分支組成，一個是以歷史幀中的跟蹤目標作為輸入的模板分支，另一個把當前幀的圖像作為輸入的檢測分支。將這兩個分支結合起來，通過提取跟蹤對象的深層特征，然后進行卷積運算得到最終得分。得分最高的位置則被認定為目標的跟蹤結果。

直觀地說，車輛跟蹤可以通過直接疊加多個SOT跟蹤器來完成。然而，SOT跟蹤器在跟蹤過程中容易因車輛外觀相似性高、遮擋嚴重而產生混淆，容易導致目標漂移甚至出現虛假目標。一種可行的方法是將SOT跟蹤器集成到上述基于檢測的跟蹤策略中，以減少檢測中產生的噪聲的干擾，從而增強跟蹤的魯棒性。于是本發明提出通過基于SOT的前向位置預測來校正關聯階段的檢測結果。但是，在嚴重遮擋的情況下，檢測器還是會混淆正向預測結果，導致誤檢率增加。

發明內容

有鑒于此，本發明的目的在于提供一種實時，跟蹤準確度高的基于孿生網絡和反向預測的車輛跟蹤方法，通過孿生神經網絡框架進行車輛目標前向位置預測，以及利用反向預測驗證的方法和加權融合方法來提升在車輛被嚴重導致檢測器產生的錯誤檢測或漏檢情況下的性能。

為達到上述目的，本發明提供如下技術方案：

一種基于孿生網絡和反向傳播的車輛實時跟蹤方法，包括以下步驟：

步驟1：根據輸入視頻的第一幀圖像，初始化激活軌跡集合，保留軌跡集合和結束軌跡集合；

步驟2：把第一幀由檢測器得到的檢測結果作為激活軌跡里各目標的初始位置；

步驟3：針對下一幀圖像，利用激活軌跡里的目標圖像和當前幀的圖像作為單目標跟蹤器SOT的輸入，得到預測的目標位置；

步驟4：求取預測目標包圍框與檢測結果里的候選框之間的重疊面積IOU；

步驟5：選取具有最大IOU的檢測結果，如果其與預測結果的IOU大于閾值，則把檢測結果當作前向位置預測輸出，否則把由SOT預測得到的結果當作前向位置預測的輸出；

步驟6：如果前向位置預測結果與前一幀的IOU小于閾值，則將該目標軌跡放入保留軌跡集合，然后開始新一輪的目標跟蹤；

步驟7：對于滿足條件的前向位置預測結果，將其預測目標圖像和前一幀圖像當作SOT輸入，反向預測在目標前一幀中的位置；

步驟8：如果反向預測驗證結果與前一幀中該目標位置滿足閾值條件，則認為由前向位置預測得到的結果是準確的，否則把由SOT前向預測的結果當作經過后向預測驗證的結果；