[發明專利]一種基于語義感知網絡和相關濾波的航拍視頻目標跟蹤方法

有效

• 申請號: 202010028112.3
• 申請日: 2020-01-10
• 公開（公告）號: CN111260687B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 李映;尹霄越;朱奕昕;薛希哲
• 申請（專利權）人: 西北工業大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/11;G06N3/04;G06N3/08
• 代理公司: 西安凱多思知識產權代理事務所(普通合伙) 61290
• 代理人: 劉新瓊

本發明涉及一種基于語義感知網絡和相關濾波的航拍視頻目標跟蹤方法，針對相關濾波算法不易解決的目標模糊和遮擋問題，本發明引入了檢測模塊和分割模塊，在第一幀記錄目標的類別信息，在后續幀中對目標候選區域進行檢測和語義分割，得到該區域內相同類別的目標候選框和分割掩膜，再融合候選框和掩膜對相關濾波算法的響應圖進行處理，對響應圖中響應值較大的非目標區域進行裁剪，得到準確的目標定位。得益于以上措施，本發明可以在多種具有挑戰性的航拍場景下取得非常魯棒的結果。

技術領域

本發明屬于圖像處理技術領域，具體涉及一種基于語義感知網絡和相關濾波的航拍視頻目標跟蹤方法。

背景技術

近年來，航拍視頻跟蹤技術在軍事領域及民事領域得到了顯著的發展，它在多樣性和靈活性方面表現更為出色。相對于普通的手持設備拍攝視頻，航拍視頻具有更靈活的角度、尺度和視野。航拍視頻目標跟蹤技術的發展催生了許多新穎且重要的應用，例如人群監測、目標追蹤以及空中導航。在傳統通用場景目標跟蹤技術中，許多算法根據第一幀中給定的初始狀態在視頻上定位其邊界框，然而天氣條件、飛行高度、目標大小和攝像機視角等特定因素都會影響目標跟蹤結果；同時，由于高傾斜拍攝視角引入的陰影、背景干擾和弱光條件，航拍視頻可能大幅損失物體原本豐富的紋理信息和細節。近年來，基于相關濾波的方法大量涌現，并在精度和速度上展現良好的跟蹤性能，可以在一定程度上滿足航拍視頻的要求。然而，當航拍視頻中捕捉到的目標在陰影中呈現模糊狀態，或者被其他對象遮擋時，跟蹤器會被誤導。在這種情況下，當目標丟失一段時間后，傳統相關濾波方法會產生模型漂移現象，導致無法重新跟蹤定位。因此設計針對航拍場景的魯棒目標跟蹤算法意義重大且迫在眉睫。

發明內容

要解決的技術問題

針對航拍視頻中由于相機運動，目標發生模糊，被遮擋而造成外觀模型漂移，進而易導致跟蹤失敗的問題，本發明充分利用目標語義信息不易受外觀變化影響的優勢，結合目標檢測技術，在高效率的相關濾波類算法的基礎上，設計一種魯棒的實時目標跟蹤方法。

技術方案

一種基于語義感知網絡和相關濾波的航拍視頻目標跟蹤方法，其特征在于步驟如下：

步驟1：讀取第一幀圖像數據以及目標塊在第一幀圖像中的參數R_target＝[x,y,w,h]，其中x,y表示目標左上角的橫縱坐標，w,h表示目標的寬和高；

步驟2：根據第一幀目標中心位置及長寬，確定一個目標區域R₁，R₁＝[x_center,y_center,1.5w,1.5h]；

步驟3：在區域R₁上進行特征提取，特征提取網絡使用帶有特征金字塔FPN的ResNet50殘差網絡結構，得到包含5種不同尺度S＝{1.0,0.8,0.4,0.2,0.1}倍原圖大小的256維深度特征J；

步驟4：將步驟3得到的特征分別輸入相關濾波模塊和檢測模塊；在相關濾波模塊中，截取特征J中對應于R_target中的部分J_target作為目標模板y₁；檢測模塊將該目標特征J_target輸入其中的類別判定分支，網絡輸出目標的類別信息；

步驟5：讀取第k幀圖像，k≥2且起始值為2，根據前一幀目標參數[x_k-1,y_k-1,w_k-1,h_k-1]，確定第k幀目標區域R_k，采用步驟3中的方法對R_k進行特征提取，得到目標特征J_k，將J_k分別輸入相關濾波模塊、檢測模塊和語義分割模塊；