[發明專利]基于多頭對比網絡的目標跟蹤方法

在審

• 申請號: 202210535337.7
• 申請日: 2022-05-17
• 公開（公告）號: CN114972444A
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 苗啟廣;葛道輝;李宇楠;賈秉文;宋建鋒;劉向增;趙博程;劉如意
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T7/292
• 分類號: G06T7/292;G06T7/215;G06T7/223;G06T7/246;G06N3/08;G06N5/04
• 代理公司: 西安智大知識產權代理事務所 61215
• 代理人: 段俊濤

1.一種基于多頭對比網絡的目標跟蹤方法，其特征在于，包括如下步驟：

步驟1：構建MCTrack多頭對比網絡結構：引入多頭對比架構和全局一致性學習機制，所述多頭對比架構通過在ResNet-50網絡的基礎上，對每個卷積層增加單獨的對比學習模型實現，所述對比學習模型包含一個參數共享的對比孿生網絡、一個映射頭和一個預測頭；所述對比孿生網絡包括模板分支和對比分支，所述全局一致性學習機制由空間一致性模塊、通道一致性模塊和語義一致性模塊組成；

步驟2：獲取模板圖像：利用光學攝影系統獲取圖像序列，對目標周圍的區域以平行于坐標軸的方式進行裁剪，作為模板圖像Z；

步驟3：獲取對比圖像：對模板圖像Z進行數據增強，得到對比圖像A；

步驟4：獲取搜索圖像：在當前的視頻序列中，選擇與模板圖像Z不同的視頻幀，以平行于坐標軸的方式進行裁剪，其圖像分辨率是模板圖像Z的2倍大小，作為搜索圖像X；

步驟5：提取模板圖像Z、對比圖像A和搜索圖像X的深度特征：以ResNet-50網絡作為骨干網絡，提取第三卷積層、第四卷積層和第五卷積層的輸出，即conv3_i，conv4_i，conv5_i，i∈{Z,A,X}；

步驟6：計算空間依賴關系：將模板圖像Z的深度特征和對比圖像A的深度特征輸入空間一致性模塊，得到特征之間的空間依賴一致性損失；

步驟7：計算通道依賴關系：將模板圖像Z的深度特征和對比圖像A的深度特征輸入通道一致性模塊，得到特征之間的通道依賴一致性損失；

步驟8：計算語義依賴關系：將模板圖像Z的深度特征和對比圖像A的深度特征輸入語義一致性模塊，得到特征之間的語義依賴一致性損失；

步驟9：目標分類和邊界框回歸：計算模板圖像Z的深度特征和搜索圖像X的深度特征之間的互相關，并作為分類頭和回歸頭的輸入，得到分類損失和回歸損失；

步驟10：聯合空間依賴一致性損失、通道依賴一致性損失、語義依賴一致性損失、分類損失和回歸損失，結合反向傳播算法，訓練多頭對比網絡的權重；

步驟11：當訓練收斂后，進入推理階段；對于新的視頻序列，提取目標的模板圖像，并且以前一幀的跟蹤結果，提取當前幀的搜索圖像；

步驟12：以步驟10得到多頭對比網絡提取模板圖像和搜索圖像的深度特征；

步驟13：計算模板圖像的深度特征和搜索圖像的深度特征之間的互相關，并作為分類頭和回歸頭的輸入，依照分類與回歸結果得到當前搜索圖像中的目標所在的位置與目標框，即為當前幀的跟蹤結果；

步驟14：當輸入新的一幀視頻序列后，轉到步驟11繼續執行，直到跟蹤結束。

2.根據權利要求1所述基于多頭對比網絡的目標跟蹤方法，其特征在于，所述步驟2的具體步驟如下：

2a)，計算模板圖像中目標邊界框的高H和寬W的平均值：

avg_hw＝(H+W)/2

2b)，計算尺度變化因子s：

s(W+avg_hw)×s(H+avg_hw)＝O²

其中O表示模板圖像的邊長；

2c)，按照尺度變化因子倍數對目標邊界框進行放縮，以平行于坐標軸的方式，裁剪視頻幀，提取模板圖像Z。

3.根據權利要求1所述基于多頭對比網絡的目標跟蹤方法，其特征在于，所述步驟3數據增強是在在模板圖像Z的基礎上，進行旋轉變換、對比度變換或縮放變換。