[發明專利]一種層級孿生網絡的實時目標跟蹤方法

在審

• 申請號: 202211181027.6
• 申請日: 2022-09-27
• 公開（公告）號: CN115661195A
• 公開（公告）日: 2023-01-31
• 發明（設計）人: 李曉靜
• 申請（專利權）人: 青島理工大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06V10/80;G06V10/75;G06V10/764;G06N3/04;G06N3/08
• 代理公司: 濟南泉城專利商標事務所 37218
• 代理人: 張貴賓

本發明公開了一種層級孿生網絡的實時目標跟蹤方法。主要用于解決傳統孿生網絡跟蹤方法無法有效利用多層特征信息和精準定位，難以處理包括相似背景、快速運動和遮擋等復雜場景下的目標跟蹤問題。本發明構建了一個具有特征融合模塊和位置感知預測模塊的深度孿生網絡，將目標模板和搜索模板分別送入到模板分支和搜索分支進行多層特征提?。蝗缓髮⑻崛〉降亩鄬犹卣魍ㄟ^自頂向下的特征融合模塊進行級聯融合，得到融合后的特征圖；最后將得到的特征圖送入位置感知預測模塊，利用困難樣本學習及互相關計算生成相應的分類和回歸響應圖，根據響應圖獲得最終的目標位置。本發明通過充分級聯多級特征和定位感知，實現了復雜場景下較好的跟蹤效果。

技術領域

本發明涉及計算機視覺技術領域，具體涉及一種層級孿生網絡的實時目標跟蹤方法。

背景技術

目標跟蹤作為計算機視覺領域中基礎且具有挑戰性的研究課題之一，在視頻監控、自動駕駛、人機交互以及醫療診斷等領域有著廣泛的應用。目標跟蹤是指，給定視頻序列中目標的初始位置，在后續幀中能夠準確預測目標的位置和大小等關鍵信息。隨著深度學習的發展，研究人員逐漸將其應用到目標跟蹤方法中。一種方式是將預訓練的深度網絡特征應用到傳統的相關濾波跟蹤器中，但在提升跟蹤準確率的同時往往會降低跟蹤速度，導致無法實現實時跟蹤。另一種是孿生網絡跟蹤方法，由于其平衡了準確率和速度，逐漸成為一個主流的研究方向，其成果在科研領域和應用中發揮了越來越重要的作用。

雖然基于孿生網絡的跟蹤方法取得了長足的發展，但面對相似干擾、快速運動和遮擋等復雜場景時仍然可能跟蹤失敗：首先，現有方法往往使用最后一層卷積特征進行目標的特征表示，深層特征具有較豐富的語義特性但沒有充分探索低層特征的空間特性，有些方法雖然使用多層特征進行特征表示，但單獨使用不同層特征以及采用插值等融合方式可能導致不同層級的特征信息丟失，未能充分利用較深網絡結構中多級特征的特性以獲得較強的特征表示能力；其次，在位置預測過程中現有方法通常使用目標和真實值之間的交并比損失來進行位置回歸，此類方法往往依賴于較高的交并比但難以處理與目標重疊較小或不重疊的困難樣本學習問題。因此，如何設計一種能夠充分利用深度網絡的多級特征以提高目標特征表示以及提高模型準確定位能力的目標跟蹤方法是亟待解決的問題。

發明內容

針對上述現有技術的不足，本發明提供一種層級孿生網絡的實時目標跟蹤方法。該方法提出融合多級層次特征的金字塔特征融合模塊，在保持高層特征語義特性的同時通過自頂向下的結構引入相同分辨率的淺層特征并平滑融合后的特征，可以減輕由于單獨使用不同層特征或者簡單插值融合導致的特征信息丟失問題；提出位置感知的預測模塊，該模塊從高層特征級聯到低層特征并利用位置感知損失進行困難樣本學習。通過訓練優化充分挖掘孿生網絡在跟蹤中的潛力，提升模型性能并提高跟蹤的準確性和魯棒性。

本發明是通過如下技術方案實現的：一種層級孿生網絡的實時目標跟蹤方法，其特征在于：包括以下步驟：

S1：將視頻幀序列的模板圖像和搜索圖像利用孿生子網絡進行特征提??；

在視頻序列的初始幀中以目標物體為中心裁剪出模板幀圖像z，并在當前幀中裁剪出搜索幀圖像x，將模板幀圖像和搜索幀圖像分別送入到孿生子網絡中的模板分支和搜索分支進行特征提取；

S2：構建融合多級層次特征的金字塔特征融合模塊

利用步驟1中的孿生子網絡，提取卷積三、四和五層的特征用于金字塔特征融合模塊，從而構建了擁有不同層次信息的特征金字塔，三四五層卷積特征首先使用1×1的卷積操作降低通道數，得到處理后的特征φ₃(x)，φ₄(x)和φ₅(x)以及φ₃(z)，φ₄(z)和φ₅(z)，然后將處理后的特征通過自頂向下的方式與相應的淺層特征進行逐元素相加，最后利用3×3的卷積操作平滑融合后的不同層特征并學習語義相關性，通過逐級融合多級層次特征的金字塔特征融合模塊，可分別得到卷積三四五層的融合特征圖，以構建更具有區分性的目標表示；