[發明專利]一種全卷積分類及回歸孿生網絡結構的視覺目標跟蹤方法

在審

• 申請號: 201911292419.8
• 申請日: 2019-12-16
• 公開（公告）號: CN111179307A
• 公開（公告）日: 2020-05-19
• 發明（設計）人: 郭東巖;邵燕燕;王俊;崔瀅;王振華;陳勝勇
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06K9/62
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

一種全卷積分類及回歸孿生網絡結構的視覺目標跟蹤方法，包括以下步驟：(1)根據圖像中目標的所在位置，在原始訓練集中裁剪出目標模板圖像和搜索區域圖像，裁剪出的圖像對構成了訓練數據集；(2)搭建全卷積孿生網絡提取圖像特征；(3)搭建分類回歸網絡；(4)響應圖上的每個像素點都有對應的前景得分和預測的包圍框，結合前景得分和包圍框的信息，計算每個像素點的總得分，總得分最高的像素點是跟蹤目標的中心；(5)使用訓練數據集，訓練全卷積孿生網絡和分類回歸網絡，獲得訓練好的全卷積孿生網絡和分類回歸網絡，使用訓練好的網絡計算待測圖像序列中目標的得分圖，基于得分圖進行目標定位。本發明提升了跟蹤的精度和速度。

技術領域

本方法涉及視覺目標跟蹤領域，更具體地，涉及一種全卷積分類及回歸孿生網絡結構的視覺目標跟蹤方法。

背景技術

視覺目標跟蹤是機器視覺領域的基礎研究問題，其廣泛應用于智能監控、人機交互和無人駕駛等領域。盡管目標跟蹤的研究已經有了很大的進展，然而，在實際應用中目標跟蹤仍是一項極具挑戰性的任務。因為在實際應用中，被跟蹤目標難以避免的會遭遇光照變化、尺度變化、背景干擾、目標遮擋和目標形變。

傳統的目標跟蹤方法可以分為兩種：基于生成式的跟蹤和基于判別式的跟蹤。生成式跟蹤算法通過提取目標對象的特征，構建出能夠表征目標外觀的模型。利用模型在搜索圖像內進行匹配，最匹配的區域即為目標。常見的基于生成式的跟蹤算法有meanshift、粒子濾波、卡爾曼濾波以及基于特征點的光流算法。而在目標跟蹤過程中，經常會出現背景與目標外觀相似的情況。因此僅僅對跟蹤目標進行建模，并不能滿足目標跟蹤的需求。基于判別式的目標跟蹤算法充分利用了第一幀模板圖像中的背景信息。這類算法將跟蹤問題歸結為一個二分類問題，主要研究如何區分目標和背景。檢測器通過在線或者離線訓練，獲得區分目標和背景的能力，進而在搜索區域圖像上找到目標位置。基于判別式的目標跟蹤算法有Struck和TLD等，相比生成式的方法，這類方法更能適應背景變化復雜的情況。

基于相關濾波的目標跟蹤算法用第一幀中的目標訓練濾波器，濾波器在搜索圖像上進行搜索，根據響應值判斷目標的位置。整個過程中濾波器不是固定的，而是隨著跟蹤過程經歷不斷地更新。相比于傳統的跟蹤算法，基于相關濾波的目標跟蹤算法利用快速傅里葉變換將濾波過程從時域轉到頻域進行計算，極大地加快了跟蹤速度。基于相關濾波的目標跟蹤算法有CF，KCF，DSST，CCOT等。

深度學習模型因其強大的特征表達能力，極大地提高了復雜環境下目標跟蹤的算法精度。它最大的優勢是模型經過大量數據的訓練，可以得到有效的語義特征，而特征的有效性決定了目標跟蹤方法性能的好壞。深度學習應用于目標跟蹤領域面臨兩個難題：(1)僅利用視頻第一幀獲得的先驗知識，遠達不到訓練深度模型對數據量的要求；(2)在線更新模型導致計算的復雜度增加，損害了跟蹤過程的實時性。

針對數據量不足這個問題，研究人員提出使用圖像分類的大型數據集(例如ImageNet)預訓練跟蹤模型。而針對實時性問題，研究人員采取離線訓練、在線微調的策略，緩解了深度模型造成的耗時。通過不斷優化深度模型與目標跟蹤算法的結合方式，基于深度學習的目標跟蹤算法已經獲得了比傳統算法更好的精度和速度。目標跟蹤算法使用的深度學習框架主要有3種，分別是：堆棧自編碼器、卷積神經網絡和孿生網絡。