[發明專利]基于紅外和可見光融合的長期跟蹤方法

在審

• 申請號: 202011521133.5
• 申請日: 2020-12-21
• 公開（公告）號: CN112561845A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 劉駿;齊春生
• 申請（專利權）人: 阜陽強松航空科技有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T5/40;G06T7/00
• 代理公司: 合肥中博知信知識產權代理有限公司 34142
• 代理人: 管秋香

本發明涉及目標跟蹤技術領域，特別涉及一種基于紅外和可見光融合的長期跟蹤方法，包括手動選擇跟蹤目標，在目標上訓練運動相關濾波器；找出目標的最佳尺度，記錄下目標的第二幀響應值τ；建立新一幀目標搜索區域，與上一幀目標框位置相同，面積為目標框的1.5倍；在可見光圖像中提取方向梯度直方圖特征和顏色特征，在紅外圖像中提取方向梯度直方圖特征和灰度特征，將這四組特征向量進行級聯以形成融合后新的特征向量并由余弦窗口加權；判別跟蹤器是否跟蹤失敗，以及，在判斷跟蹤器跟蹤失敗后，在紅外和可見光兩種源圖像中尋找丟失目標；本發明解決了目標在遮擋、低分辨率、雨天、傍晚等復雜環境中易丟失的問題，實現了復雜環境下的目標魯棒跟蹤。

技術領域

本發明涉及目標跟蹤技術領域，特別涉及一種基于紅外和可見光融合的長期跟蹤方法。

背景技術

作為計算機視覺領域的一個熱點研究方向，紅外和可見光的融合跟蹤憑借其技術優勢和執行效率而受到了廣泛的關注，特別是在這次的“新冠肺炎”疫情中，基于紅外與可見光的雙目體溫檢測與人員監控技術在關卡排查的工作中發揮了極其重要的作用。與基于單傳感器下的目標跟蹤相比，多傳感器下的融合跟蹤由于缺乏對目標的統一表征方法以及可用的數據集而發展相對緩慢。當前，目標跟蹤主要還是集中在對單源數據的研究，其中以可見光下的單目標跟蹤最為突出，由于可見光圖像與紅外圖像屬于同構數據，并且這兩種圖像具有著良好的互補性，所以基于可見光與紅外的融合跟蹤逐漸引起了技術人員的注意。

相關濾波跟蹤的最大優勢是其能夠輕易地滿足實時跟蹤的要求，這是其他跟蹤方法所不能及的，據目前所知，基于相關濾波框架下的融合跟蹤算法大多都是采用決策級融合的方式，Wang等人提出了軟一致性相關濾波器，該算法采用了軟一致性來同時考慮可見光和紅外模態的可協作性和異構性，然后在加權融合機制下將兩種模態的響應圖融合在一起以獲得最終響應。Zhai等人提出了一種具有交叉模態的相關濾波跟蹤算法，作者在實驗中觀察到在不同的模態特征下都可以學習到相似的濾波器，且這種特性可以用來對目標對象進行一致性定位。因此，他們引入了低秩約束來聯合學習交叉濾波器，以更好的獲得模態之間的互相依賴性。Yun等人提出了一種判別式融合相關學習模型，該方法主要是先對目標進行估計，然后再對響應圖進行加權融合。此外，還有部分研究則是將相關濾波和其他方法相結合，如Luo等人將基于相關濾波的跟蹤器和基于直方圖的跟蹤器做了結合，Ren等人則將基于相關濾波器的可見光跟蹤與基于馬爾可夫鏈蒙特卡洛的紅外跟蹤相結合。

圖像融合技術目前雖然已經比較成熟，但仍然面臨著三個突出問題，一是基于深度學習的方法很少被用于紅外與可見光圖像的融合；二是基于顯著性的融合方法容易將具有嚴重噪聲的區域誤認為是目標區域；三是傳統的融合方法僅注重于生成信息更為豐富的圖像卻忽略了特定場景下對圖像融合的實際應用需求。對于紅外與可見光圖像融合的目標跟蹤而言，主要的問題有三個方面，一是缺乏對目標模型的統一性表征方法，特別是在時間不同步、圖像非匹配等環境下；二是缺乏多源圖像融合下的長期跟蹤解決方案，諸如嚴重遮擋、光照突變、形態扭曲等干擾因素所導致的跟蹤失敗目前還沒有較好的解決辦法；三是缺乏融合跟蹤的決策機制，現大多數的算法都是采用的決策級融合，卻忽略了像素級與特征級融合下的可利用信息?？偟膩碚f，圖像融合與融合跟蹤技術在近些年來取得了顯著進步，領域未來的發展趨勢也更將注重于以需求牽引為導向并提供與需求相對應的解決方案。

發明內容

本發明的目的在于克服現有技術中的不足，提供一種基于紅外和可見光融合的長期跟蹤方法，特別能夠適用于目標出現遮擋，低光照，夜晚情況的目標跟蹤。

一種基于紅外和可見光融合的長期跟蹤方法，其特征在于，所述的方法包括：

手動選擇跟蹤目標，使用如下公式(4)，在目標上訓練運動相關濾波器w；

w＝argmin∑|φ(x_m,n)·w-y(m,n)|²+λ|w|² (4)