[發(fā)明專利]一種基于深度時空信息的相關濾波跟蹤方法

在審

• 申請?zhí)枺?/td>: 201910920723.6
• 申請日: 2019-09-27
• 公開（公告）號: CN110659619A
• 公開（公告）日: 2020-01-07
• 發(fā)明（設計）人: 尚振宏;陳萬敏
• 申請（專利權）人: 昆明理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06N3/04;G06N3/08;G06T7/246
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明涉及一種基于深度時空信息的相關濾波跟蹤方法，屬于視頻目標跟蹤技術領域。本發(fā)明首先在空間上利用多個不同網絡層提取的目標深度特征信息，構成特征層響應，對每一個響應結果根據其損失誤差分配不同的權重，融合特征響應。然后基于融合后的響應得到估計目標位置并采用尺度估計方法解決目標尺度變化問題；最后根據每一幀的重構誤差自適應的連續(xù)學習更新目標外觀模型；本發(fā)明能夠有效緩解跟蹤目標由于遮擋、尺度變化、光照等因素造成的跟蹤漂移狀況的發(fā)生，實現魯棒的目標跟蹤。

技術領域

本發(fā)明涉及一種基于深度時空信息的相關濾波跟蹤方法，屬于視頻目標跟蹤技術領域。

背景技術

目標跟蹤技術目前廣泛應用于智能交通、視頻監(jiān)控、人機交互、和軍事制導等領域。近幾十年來目標跟蹤領域取得了很大進展，但是由于物體運動過程中視頻場景和目標外觀的復雜變化，設計一個魯棒高效的目標跟蹤算法,仍是一個極具挑戰(zhàn)的難題。

根據目標模型的建模方式差異，可將目標跟蹤模型分成兩類：生成式模型和判別式模型。基于生成式模型的目標跟蹤算法，使用生成式模型描述目標的表觀特征，通過采樣搜索出來的候選目標實現重構誤差最小化，再對比候選目標和模型的相似程度，找到最大相似目標作為跟蹤結果。這類算法通常從目標前景區(qū)域學習目標外觀，忽略了更有效的背景信息，所以在跟蹤過程中算法很容易受到背景中相似物體的影響而產生漂移。判別式表觀模型則是通過訓練各種各樣的分類器來區(qū)分被跟蹤的目標物體和背景區(qū)域，將目標跟蹤看作一個二分類問題，把圖像分為前景圖像和背景圖像，利用最適合實際場景的圖像特征和最佳的分類方法，將目標從背景區(qū)域中區(qū)分出來，期間不斷的在線更新分類器來估計目標的位置。其中最具代表的是基于相關濾波的Staple算法，該算法采用兩種互補特征建立目標外觀模型，分別轉化為兩個獨立的嶺回歸問題求解。該算法在更好的適應目標外觀變化以及光照的不連續(xù)性的同時保持較高的執(zhí)行速率。但是當跟蹤目標發(fā)生部分遮擋或者完全遮擋時，算法容易丟失目標，出現模型漂移的情況。

因此發(fā)明一種基于深度時空信息的相關濾波跟蹤方法，在相關濾波基礎上引入深度時空信息以減少在跟蹤過程中因遮擋和姿態(tài)變化等因素產生的對跟蹤模型的干擾，能夠有效面對各種復雜挑戰(zhàn)因素，實現魯棒的目標跟蹤。

發(fā)明內容

本發(fā)明提供了一種基于深度時空信息的相關濾波跟蹤方法，以用于解決在視覺目標跟蹤過程中，目標因受到復雜視頻場景干擾和目標本身變化帶來的跟蹤效果低下，準確率較低等問題。

本發(fā)明的技術方案是：一種基于深度時空信息的相關濾波跟蹤方法，所述基于深度時空信息的相關濾波跟蹤方法的具體步驟如下：

Step1、獲取目標的初始位置信息以及尺度信息。

Step2、根據Step1獲取的初始信息以及VGG-NET-19網絡提取目標的三層深度卷積特征，并分別計算響應圖。

Step3、根據Step2提取的三層深度卷積特征分別計算響應圖權重，并將每一層的響應圖加權求和得到最終響應圖。

Step4、基于Step 3估計當前視頻幀中目標的位置信息。

Step5、利用step4得到的目標位置信息，添加尺度濾波器預測目標的尺度變化。

Step6、得到目標的位置信息和尺度信息后，利用每一幀的重構誤差更新目標外觀模型，進行跟蹤，直到最后一幀。

所述步驟Step2中提取目標深度卷積特征是使用在image-net上訓練好的VGG-NET-19網絡，使用其第3、4、5卷積層的輸出特征。將跟蹤模型轉化為以下形式表達：

此時，當新的一幀輸入時，第L層的濾波響應就可以計算得出：