[發明專利]基于多頭對比網絡的目標跟蹤方法

在審

• 申請號: 202210535337.7
• 申請日: 2022-05-17
• 公開（公告）號: CN114972444A
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 苗啟廣;葛道輝;李宇楠;賈秉文;宋建鋒;劉向增;趙博程;劉如意
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T7/292
• 分類號: G06T7/292;G06T7/215;G06T7/223;G06T7/246;G06N3/08;G06N5/04
• 代理公司: 西安智大知識產權代理事務所 61215
• 代理人: 段俊濤

本發明涉及一種基于多頭對比網絡的目標跟蹤方法，包括構建多頭對比網絡；獲取模板圖像；獲取對比圖像；獲取搜索圖像；提取圖像的深度特征；計算空間依賴關系；計算通道依賴關系；計算語義依賴關系；目標分類和邊界框回歸；多損失聯合訓練；分類頭和回歸頭。本發明通過構建多頭對比網絡，它對骨干網絡中的每個卷積層構建一個單獨的嵌入空間，學習同一目標不同外觀的特征表示的不變性；提出了全局上下文一致性損失，不僅僅保持語義信息上的一致性，也在特征表示的空間關系和通道關系上保持一致性，進一步增強了特征表示的能力，顯著的提升了跟蹤方法的性能。

技術領域

本發明屬于目標跟蹤技術領域，特別涉及一種基于多頭對比網絡的目標跟蹤方法，可應用于光學圖像中單個物體的目標跟蹤。

背景技術

目標跟蹤通過在視頻的第一幀中給定目標的位置和邊界框的大小，在后續的序列中持續的定位目標，是計算機視覺領域的一項重要任務。伴隨著相關濾波技術和深度學習技術的迅速發展，光學圖像場景下的目標跟蹤取得了顯著的進步。但是局部遮擋、目標形變、背景雜亂、光照變化等因素往往嚴重的損害了跟蹤目標的能力。

基于相關濾波的跟蹤方法借助循環矩陣的特征，結合傅里葉變換技術，對視頻第一幀中給定的目標進行密集采樣。通過最小化L₂范數損失，在線訓練相關濾波器的權重，在后續的視頻幀中預測目標的位置。該方法雖然取得了較好的跟蹤結果，但是仍然存在特征提取模型和相關濾波器需要分開訓練的問題，不能充分的挖掘大規模數據集中樣本間的依賴關系。此外，由于該方法需要在線更新濾波器的權重，無法滿足實時跟蹤的需求，限制了目標跟蹤的應用場景。

基于深度孿生網絡的目標跟蹤方法由于其很好的平衡了跟蹤的準確度和速度得到了極大的關注。這些目標跟蹤方法通過深度孿生網絡以端到端的方式離線學習相似性映射，避免在線更新跟蹤模型的權重，保證了跟蹤的效率。但是，基于深度孿生網絡的目標跟蹤方法首先提取目標模板的深度特征和搜索區域的深度特征，然后計算模板圖像特征和搜索區域特征之間的相似性映射，其目的是區分搜索區域內的目標和背景，忽略了同一目標不同外觀間的深度特征表示的相似性，降低目標跟蹤的性能。

雖然基于相關濾波和深度學習的跟蹤方法取得了優秀的跟蹤性能，但是這些方法都難以統一同一目標不同外觀間的深度特征表示。

發明內容

為了解決上述現有的基于相關濾波和深度學習的目標跟蹤方法中存在的問題，本發明的目的在于提供一種基于多頭對比網絡的目標跟蹤方法，該方法主要關注同一目標不同外觀表示的深度特征表示的學習過程，主要由訓練樣本的數據增強、運動目標的特征提取、全局一致性損失三部分構成。本發明充分利用數據增強技術，構建同一目標的不同外觀表示，結合對比學習技術，構建了多頭對比學習網絡，既能夠有效的處理光照變化、目標形變等干擾因素，實現對目標進行準確魯棒的跟蹤，又顯著的提升跟蹤效率，滿足實時跟蹤的需求。

為了實現上述目的，本發明采用的技術方案是：

一種基于多頭對比網絡的目標跟蹤方法，包括如下步驟：

步驟1：構建MCTrack多頭對比網絡結構：引入多頭對比架構和全局一致性學習機制，所述多頭對比架構通過在ResNet-50網絡的基礎上，對每個卷積層增加單獨的對比學習模型實現，所述對比學習模型包含一個參數共享的對比孿生網絡、一個映射頭和一個預測頭；所述對比孿生網絡包括模板分支和對比分支，所述全局一致性學習機制由空間一致性模塊、通道一致性模塊和語義一致性模塊組成；

步驟2：獲取模板圖像：利用光學攝影系統獲取圖像序列，對目標周圍的區域以平行于坐標軸的方式進行裁剪，作為模板圖像Z；

步驟3：獲取對比圖像：對模板圖像Z進行數據增強，得到對比圖像A；

步驟4：獲取搜索圖像：在當前的視頻序列中，選擇與模板圖像Z不同的視頻幀，以平行于坐標軸的方式進行裁剪，其圖像分辨率是模板圖像Z的2倍大小，作為搜索圖像X；