[發明專利]基于特征自學習的大場景極小目標遙感視頻跟蹤方法

有效

• 申請號: 202010840783.X
• 申請日: 2020-08-20
• 公開（公告）號: CN111986233B
• 公開（公告）日: 2023-02-10
• 發明（設計）人: 焦李成;楊曉巖;李陽陽;馬文萍;劉旭;馮志璽;郭雨薇;張丹;陳璞花;王佳寧
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/0464;G06N3/08
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 侯瓊;王品華

本發明提出的一種基于特征自學習的大場景極小目標遙感視頻跟蹤方法，主要解決了現有視頻跟蹤算法存在的計算復雜度高、跟蹤精度低問題。其方案包括：1)獲取極小目標特征自學習網絡的初始訓練集；2)構建極小目標特征自學習網絡；3)構建特征自學習網絡的損失函數；4)根據損失函數訓練網絡得到極小目標特征自學習模型；5)輸入測試集圖像，得到遙感視頻目標跟蹤結果。本發明使用特征自學習網絡學習極小目標的外觀特征、預測目標位置，避免了傳統跟蹤方法常用的前期處理過程，有效減小了網絡復雜性，且極大的提高了超模糊的大場景遙感視頻中極小目標的定位準確性。

技術領域

本發明屬于遙感視頻處理技術領域，涉及大場景極小目標的遙感視頻目標跟蹤，具體是一種基于特征自學習的大場景極小目標遙感視頻跟蹤方法，可用于交通狀況監測、應急預警及重大設施檢測。

背景技術

遙感目標跟蹤是計算機視覺領域的一個重要的研究方向，遙感視頻記錄是在衛星平臺進行的廣域空中監測，是對廣闊區域在一段時間內的活動實現持續監測的一種手段。遙感視頻受限于其拍攝方式，視頻覆蓋地域范圍極大，因此成像分辨率較低，甚至有些視頻非常模糊；在跟蹤車輛、艦船或飛機時，其目標尺寸極小，車輛的大小甚至達到3*3個像素左右，與周圍環境的對比度極低，沒有清晰輪廓邊界，這給遙感視頻中的目標跟蹤帶來極大挑戰。傳統的跟蹤方法通常需要先進行圖像配準，但由于拍攝視頻的衛星不斷運動導致有些視頻整體呈一個方向偏移，同時由于地區高低會存在部分區域縮放，使得傳統方法準確性不高。

視頻目標跟蹤給定目標在第一幀的位置，預測后續連續幀中的目標位置。最近的自然光學視頻跟蹤方法大致是基于神經網絡(Neural Network)和相關濾波 (CorrelationFilter)的，如Siamese-FC網絡結合了兩種方法，先利用雙支路的卷積神經網路提取圖像特征，然后將得到的兩個特征做互相關聯，這種方法的網絡結構簡單、準確率較高。然而，這些方法適用的視頻圖像通常分辨率較高，目標在圖像中占比較大，能為卷積操作提供足夠的色彩、形狀等信息，可在極其模糊、目標在圖像中占幾個像素的遙感視頻中，則很難達到較好的效果。

湖南航升衛星科技有限公司在其申請的專利“遙感視頻圖像運動目標實時智能感知方法及其裝置”(專利申請號201810111223.3，公開號CN108389220A)中公開了一種基于深度卷積神經網絡的遙感目標跟蹤方法。該方法首先對視頻的幀圖像作背景減除法，得到可能包含目標的候選圖像，然后用深度卷積神經網絡對候選圖像分類，再結合衛星星下點的先驗信息計算得到貝葉斯后驗概率，判斷候選圖像是否包含目標。該方法一定程度上改善了檢測的準確度，但其存在的不足之處是：其一，由于很多遙感視頻整體向一個方向偏移，還存在因地域海拔等問題引起的部分區域縮放情況，因此在第一步中對幀圖像進行的背景減除法并不能得到準確的候選區域，且需要先進行圖像配準等操作，大大增加了計算量；其二，簡單的深層卷積網絡難以學到目標相較于周圍環境的外觀信息，而對于遙感視頻與周圍環境對比度較低、信息損失嚴重的情況，此方法并不適用；其三，該方法所采用的算法復雜度高、計算速度較慢。

發明內容

本發明的目的在于克服上述現有技術存在的缺陷，提出了一種計算復雜度低，精度更高的基于運動估計的大場景小目標遙感視頻跟蹤方法。

實現本發明的基本思路是：構建包含兩個分支的遙感視頻目標跟蹤網絡，一個分支用于目標定位，另一個分支用于特征自學習；用于特征自學習的網絡分支可根據視頻第一幀的目標，無標簽的學習目標外觀特征，整個網絡根據學到的目標特征，在搜索圖中精準識別目標，極大的提高了目標的定位準確性。從而解決了現有視頻跟蹤算法存在的計算復雜度高，跟蹤精度低問題。

為實現上述目的，本發明的技術方案包括如下：

(1)獲取極小目標特征自學習網絡的初始訓練集D：