[發明專利]基于對比學習的孿生網絡目標跟蹤方法

有效

• 申請號: 202110442621.5
• 申請日: 2021-04-23
• 公開（公告）號: CN113240709B
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 趙健;溫志津;劉陽;鮑雁飛;雍婷;范娜娜;李晉徽;晉曉曦;張清毅
• 申請（專利權）人: 中國人民解放軍32802部隊
• 主分類號: G06T7/246
• 分類號: G06T7/246
• 代理公司: 北京豐浩知識產權代理事務所(普通合伙) 11781
• 代理人: 李學康

本發明提出了一種基于對比學習的孿生網絡目標跟蹤方法，其利用表征模塊、相似度計算模塊、對比監督模塊來實現；本方法提取目標模板和搜索圖像塊的特征表示，進而計算目標模板與搜索圖像塊中所有候選樣本之間的相似度。根據相似度值和真實目標的位置信息，最小化目標候選樣本和其他候選樣本之間的對比損失，通過反向傳播調節網絡參數。不同于現有的跟蹤方法分配同一人為設定的標簽給不同的背景樣本和最小化候選樣本與人為設定的標簽之間的誤差，本方法利用樣本之間內在相似度關系，促使學習到的跟蹤模型不但能夠區分不同類別的實例，而且還能夠區別同類別不相同的實例。

技術領域

本發明涉及計算機視覺領域，尤其涉及基于對比學習的孿生網絡目標跟蹤方法。

背景技術

目標跟蹤是計算機視覺領域中一個關鍵的課題，是視頻分析系統中的重要組成部分。目標跟蹤技術廣泛應用于自動駕駛、公共安全、人機交互、交通控制、計算機輔助醫療等領域。這些應用的實際效果依賴于其所采用的目標跟蹤技術。

根據數據集中僅給出的目標位置信息，現有的目標跟蹤方法通過分配特定的標簽給目標樣本，同時分配同一標簽給其余的背景樣本，構建跟蹤模型。例如，現有的跟蹤方法把目標樣本標記為正類、背景樣本標記為負類，把目標跟蹤問題建模成二分類問題；還有的跟蹤方法設定一個高斯響應分布，把跟蹤問題建模成回歸問題，回歸樣本集到一個高斯響應分布，其中目標樣本對應高斯響應的波峰。由此可以看出，在現有方法中，不同的背景樣本共享同一標簽。然而，在實際應用中，背景樣本并不都是同類型的，某些背景樣本不包含任何物體，某些背景樣本可能是與目標相似的干擾物。由于非物體背景樣本在背景樣本中占比非常大，如果非物體背景樣本和與目標相似的背景樣本共享同一標簽，會導致跟蹤器擬合眾多非物體背景樣本，從而使得學習得到的跟蹤器不能很好地區分目標和相似干擾物，影響了目標跟蹤效果。在測試時，跟蹤器容易混淆目標和與之相似的背景樣本，造成跟蹤失敗。

發明內容

針對現有的計算機視覺目標跟蹤方法中，其對非物體背景樣本和與目標相似的背景樣本共享同一標簽影響目標跟蹤效果的問題，本發明借助樣本之間內在相似度關系，促使學習到的跟蹤模型能夠區分不同類別的實例，同時能夠區分同類別不相同的實例。

為實現上述目的，本發明采取的技術方案為：

本發明公開了基于對比學習的孿生網絡目標跟蹤方法，其利用表征模塊、相似度計算模塊、對比監督模塊來實現。

所述的表征模塊，通過前向計算提取目標模板和搜索圖像塊的深度特征，目標模板和搜索圖像塊的深度特征用于目標模板和搜索圖像塊中候選樣本相似度計算。表征模塊通過修改的標準ResNet-50神經網絡來實現，其對標準ResNet-50神經網絡去掉平均池化層和全連接層，修改conv4_x和conv5_x中的步長為1,同時在最后增加一個卷積層以降低特征通道數，修改的標準ResNet-50神經網絡由conv1、conv2_x、conv3_x、conv4_x、conv5_x和conv6串聯而成。conv1包含1個[7×7,64]卷積層，[7×7,64]表示卷積層的卷積核的長和寬均為7，卷積層的通道數為64；conv2_x由一個池化層和3個擁有卷積層的block串聯而成，conv2_x的block由1個[1×1,64]卷積層、1個[3×3,64]卷積層和1個[1×1,256]卷積層串聯而成；conv3_x由4個block串聯而成，conv3_x的block由1個[1×1,128]卷積層、1個[3×3,128]卷積層和1個[1×1,512]卷積層串聯而成；conv4_x由6個block，1個[1×1,256]卷積層、1個[3×3,256]卷積層和1個[1×1,1024]卷積層串聯而成；conv5_x由3個block，1個[1×1,512]卷積層、1個[3×3,512]卷積層和1個[1×1,2048]卷積層串聯而成；conv6包含1個[1×1,256]卷積層。當輸入目標模板和搜索圖像塊時，所述的修改的標準ResNet-50神經網絡通過前向計算輸入目標模板和搜索圖像塊的深度特征。