[發明專利]一種基于聯合光譜降維和特征融合的高光譜目標跟蹤方法

有效

• 申請號: 202011573891.1
• 申請日: 2020-12-25
• 公開（公告）號: CN112598711B
• 公開（公告）日: 2022-12-20
• 發明（設計）人: 趙東;汪磊;李晨;張見;牛明;郜云波;王青;馬弘宇;陶旭;劉朝陽;楊成東
• 申請（專利權）人: 南京信息工程大學濱江學院
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T3/40;G06T5/20;G06V10/77;G06V10/764;G06V10/80
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 徐燕

本發明提供了一種基于聯合光譜降維和特征融合的高光譜目標跟蹤方法，首先利用基于多維縮放和主成分分析的聯合光譜降維方法對原始高光譜圖像序列進行降維處理；然后分別提取降維處理后得到的圖像序列的四對特征，將四對特征進行融合；并將融合后的特征送入核相關濾波器，得到四個基于第一到第四個特征的弱響應圖；并利用權重系數對弱響應圖進行加權得到強響應圖；將強響應圖中最大值位置作為目標的位置；并對基樣本和權重系數的參數進行自適應更新。本發明克服了現有技術中計算量大，實時性差的缺點，使得本發明提高了復雜背景下高光譜圖像序列中目標跟蹤的速度，并且當目標出現形變和遮擋時有較好跟蹤效果。

技術領域

本發明屬于圖像處理技術領域，具體涉及一種基于聯合光譜降維和特征融合的高光譜目標跟蹤方法。

背景技術

復雜背景下高光譜圖像序列中的目標跟蹤是高光譜圖像處理技術領域重要組成部分，它在高光譜異常檢測、高光譜目標檢測與跟蹤系統、高光譜遙感系統等許多系統中都有非常廣泛的實際應用。近幾年，基于改進核相關濾波的目標跟蹤方法廣泛應用在計算機視覺領域。核相關濾波算法利用基樣本灰度特征進行跟蹤，但是高光譜目標灰度特征不足以區分出復雜背景和背景中的目標。

現有的目標跟蹤方法中，通過提取目標搜索區域內的光譜特征，訓練光譜相關濾波器Spe-CF，根據前一幀目標位置選擇目標搜索區域，進而利用訓練好的光譜相關濾波器Spe-CF預估目標位置范圍，規定相關響應值大于一定閾值即為目標位置范圍，根據空間相關濾波器Spa-CF確定目標最終位置。該方法存在的不足之處是：該方法同時處理所有波段的高光譜視頻，并利用光譜相關濾波器Spe-CF和空間相關濾波器Spa-CF對目標位置進行預估和確定時，需要預先訓練濾波器，計算量較大，實時性差，并且當目標出現遮擋和形變以后，容易跟蹤發生失敗。

目前還存在搭建并訓練深度卷積網絡作為特征編碼器，提高跟蹤性能。然后只向前傳遞ROI并將整個ROI投影到ROI響應圖，然后估計出目標位置。該方法存在的不足之處是：需要搭建目標樣本庫來訓練深度卷積網絡，計算量較大，并且該算法容易受到目標遮擋和形變的影響，使估計出現誤差，導致跟蹤發生偏移。

發明內容

本發明針對現有技術中的不足，提供一種基于聯合光譜降維和特征融合的高光譜目標跟蹤方法，首先利用基于多維縮放和主成分分析的聯合光譜降維方法對原始高光譜圖像序列進行降維處理，然后分別提取降維處理后得到的圖像序列的四對特征，將得到的四對特征進行融合，然后將融合后的特征送入核相關濾波器，并首次提出實用弱響應圖的權重系數對響應圖進行加權得到強響應圖，并對基樣本進行和權重系數相關的自適應更新，實現復雜背景下高光譜圖像序列中目標的有效跟蹤。

為實現上述目的，本發明采用以下技術方案：一種基于聯合光譜降維和特征融合的高光譜目標跟蹤方法，包括如下步驟：

步驟一、載入高光譜圖像序列的第一幀圖像，并對高光譜圖像序列的第一幀圖像進行預處理；

步驟二、對高光譜圖像序列的第一幀圖像進行基于多維縮放的光譜降維操作，得到光譜降維后選定通道的高光譜圖像序列；

步驟三、從高光譜圖像序列的第二幀圖像開始，依次載入第T幀圖像作為當前幀原始圖像，對當前幀原始圖像進行基于主成分分析的光譜降維操作，得到光譜降維后融合通道的高光譜圖像序列；T為大于等于2的整數；

步驟四、將光譜降維后選定通道的高光譜圖像序列中的第T幀圖像，與光譜降維后融合通道的高光譜圖像序列中的第T幀圖像，組合成當前幀圖像對；

步驟五、提取當前幀圖像對的SIFT特征融合后作為第一個特征，然后提取當前幀圖像對的三個深度特征分別融合后，作為第二到第四個特征；

步驟六、利用第一到第四個特征以及基于基樣本更新的核相關濾波跟蹤器計算得到四個基于第一到第四個特征的弱響應圖；

步驟七、利用四個基于第一到第四個特征的弱響應圖分別計算得到第一到第四個特征的權重系數；