[發明專利]一種基于交并比引導孿生網絡的目標跟蹤方法

有效

• 申請號: 202011476028.4
• 申請日: 2020-12-15
• 公開（公告）號: CN112509008B
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 周麗芳;何宇;李偉生;熊超
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 重慶市恒信知識產權代理有限公司 50102
• 代理人: 陳棟梁

本發明請求保護一種基于交并比(Intersection?over?Union,IoU)引導孿生網絡的目標跟蹤方法，屬于目標跟蹤領域。其中所述方法包括以下步驟：將數據進行預處理并作為訓練數據集；以SiamRPN目標跟蹤方法為基礎模型，為了增強跟蹤模型的魯棒性，本發明設計了一個預測IoU的孿生網絡跟蹤框架，從而提升了模型的分類分支與回歸分支的相關性；為了提高跟蹤的定位精度，本發明提出了一個IoU引導定位的跟蹤算法；然后通過隨機梯度下降優化算法迭代訓練；最后使用訓練好的IoU引導孿生網絡進行目標跟蹤。在增加少量的參數及計算量的情況下，本發明有效的預測了回歸后的錨框(Anchor)與目標的交并比，從而增強了模型的定位精度，并提升了模型跟蹤的魯棒性。

技術領域

本發明屬于圖像處理技術領域，涉及基于孿生網絡的目標跟蹤方法。

背景技術

目標跟蹤技術是計算機視覺領域最基本的技術之一，它旨在給定一個視頻或者一個圖像序列，然后在該視頻或圖像序列中連續地預測一個指定的目標位置與大小。近年來由于目標跟蹤技術的不斷發展，該技術已經成功應用于諸如監控安防，無人駕駛，智能醫療等領域。盡管如此，在面對復雜多變的真實環境，想要精確對任意目標進行跟蹤仍然是一個極具挑戰的任務，所以目標跟蹤技術具有極大的實用價值和迫切的社會需求。

目前，目標跟蹤的方法主要分為兩類：基于相關濾波的跟蹤方法和基于孿生網絡的跟蹤方法。基于相關濾波的方法以KCF(High-speed tracking with kernelizedcorrelation filters)為代表，得意于循環矩陣的特性，卷積運算可以從時域轉化到頻域，所以KCF能輕松在CPU上以每秒上百幀運行。但是，深度卷積特征相比于手工提取的特征更具判別性，所以后續的大多基于相關濾波的方法通過聯合手工特征與深度卷積特征來進行跟蹤。盡管聯合手工特征與深度卷積特征能提升跟蹤器的性能，但由于基于相關濾波的跟蹤方法需要在線跟蹤時對模型進行微調，更新模板圖像的特征，這樣會導致跟蹤速度大大降低。然而基于孿生網絡的跟蹤方法，經過深度神經網絡提取到具有強判別性的語義特征，對視頻中目標變化具有較強的魯棒性，并且，基于孿生網絡的跟蹤方法始終以初始模板圖像作為模板，在整個跟蹤過程中保持不變，不需要在線對模型進行微調，所以基于孿生網絡的跟蹤方法具有較強的魯棒性與較高的實時性。然而在基于孿生區域建議網絡的跟蹤方法中，仍然存在如下問題：1)在訓練時，分類分數與回歸精度之間的相關性較低，在跟蹤時依賴分類得分選擇相應的Anchor，這將對跟蹤性能造成一定的影響；2)在訓練回歸分支時，每一個Anchor對回歸損失的權重都是一樣的，即每一個Anchor都傾向于精準的對目標大小進行回歸。但是對于目標跟蹤任務來說，僅需要一個Anchor對目標進行定位。所以這損害了跟蹤器對目標的定位精度。為了解決以上問題，本發明提供了一種基于IoU引導的孿生網絡目標跟蹤方法。

發明內容

本發明旨在解決以上現有技術的問題。提出了一種基于交并比引導孿生網絡的目標跟蹤方法。本發明的技術方案如下：

一種基于交并比引導孿生網絡的目標跟蹤方法，其包括以下步驟：

步驟1：分別對模板圖像與搜索圖像進行預處理；

步驟2：將模板圖像與搜索圖像分別輸入到孿生網絡的模板分支與搜索分支，經過AlexNet提取到模板圖像的特征與搜索圖像的特征，然后以模板圖像特征與搜索圖像特征為輸入分別經過兩個互相關卷積后得到的兩類特征，這兩類特征一類輸入到分類頭對目標進行分類，一類輸入到回歸頭對目標大小進行回歸；還設計了一個交并比IoU預測器，該IoU預測器平行于回歸頭，預測所有正樣本的Anchor與目標之間的IoU分數，然后將IoU分數與分類分數共同作為選取最終的Anchor的依據；

步驟3：采用為每一個Anchor對回歸損失的貢獻分配一個權重，這個權重正比于Anchor與目標之間的IoU，即當某個框與目標之間的IoU越大，那么相應的權重也越大，它對回歸損失的貢獻也越大；