[發明專利]一種面向弱配準數據的可見光熱紅外視覺跟蹤方法

在審

• 申請號: 202310075035.0
• 申請日: 2023-01-16
• 公開（公告）號: CN116205959A
• 公開（公告）日: 2023-06-02
• 發明（設計）人: 李成龍;沈慶;劉磊;湯進
• 申請（專利權）人: 安徽大學
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06N3/08;G06T5/50;G06N3/0464
• 代理公司: 合肥市浩智運專利代理事務所(普通合伙) 34124
• 代理人: 鄭浩

一種面向弱配準數據的可見光熱紅外視覺跟蹤方法，屬于計算機視覺技術領域，解決多模態跟蹤器對配準數據的依賴的問題；本發明的方法引入漸進式特征配準模塊實現模態特征級配準，配準后的多模態特征進一步通過transformer融合模塊實現特征融合，利用融合特征輸入到模型預測器取得當前幀的最優的預測模型，與全圖特征進行卷積操作以獲得得分權重圖，響應值高的位置則代表目標的預測位置，同時通過調制向量模塊進行包圍框的選取，完成對當前幀目標的準確定位；本發明的方法可以在不依賴嚴格配準的多模態數據下挖掘可見光和熱紅外模態的互補信息，有效實現了可見光和熱紅外之間的模態互補，進一步提高多模態目標跟蹤的準確率。

技術領域

本發明屬于計算機視覺技術領域，涉及一種面向弱配準數據的可見光熱紅外視覺跟蹤方法。

背景技術

目標跟蹤是計算機視覺領域中的基本任務之一，其目的是在給定視頻序列初始幀目標大小和位置的情況下，預測后續幀中該目標的大小和位置。近些年，目標跟蹤技術取得了巨大的突破和發展，并且已經廣泛運用到智能交通、無人駕駛和醫療影像等領域。可見光數據在極端光照、雨雪霧等惡劣條件下的可靠性大大降低，進而影響跟蹤器的性能。為了彌補可見光數據的不足，近年來一些研究者通過引入熱紅外模態開展了多模態跟蹤的相關研究，以實現全天時全天候條件下的魯棒視覺跟蹤性能。為了訓練先進的多模態跟蹤器，需要準備配準的多模態數據。現有多模態跟蹤器依賴配準的多模態數據進行訓練和測試，然而可見光和熱紅外數據是由不同傳感器捕捉的，為了得到配準的多模態數據需要進行耗時耗力的手工配準過程，配準多模態數據的獲取問題嚴重限制了多模態跟蹤的發展；其次，現有多模態跟蹤器無法挖掘弱配準數據的多模態互補優勢。

發明內容

本發明的目的在于如何設計一種面向弱配準數據的可見光熱紅外視覺跟蹤方法，以解決多模態跟蹤器對配準數據的依賴的問題。

本發明是通過以下技術方案解決上述技術問題的：

一種面向弱配準數據的可見光熱紅外視覺跟蹤方法，采用的網絡模型包括：特征提取網絡、漸進式特征融配準模塊、transformer融合模塊以及模型預測器；所述的特征提取網絡用于提取可見光和熱紅外的多模態特征；所述的漸進式特征融配準模塊，利用弱配準圖像對預測單應性矩陣，用以扭曲熱紅外模態特征以實現熱紅外模態特征向可見光模態特征的配準；所述的transformer融合模塊，由多頭注意力機制組成，用于融合配準后的多模態特征；所述的模型預測器，由模型預測模塊和調制向量模塊組成，用于利用融合的多模態特征進行最后的跟蹤結果預測；

所述的跟蹤方法包括以下步驟：

步驟一：在初始幀或上一幀結果目標周圍生成搜索區域，并提取搜索區域的多模態特征；

步驟二：將特征提取網絡提取的多模態特征利用漸進式特征配準模塊進行特征粗配準，同時預測單應性矩陣，進而實現熱紅外特征向可見光特征的細配準，同時更新單應性矩陣；

步驟三：將細配準后的可見光熱紅外模態特征通過transformer特征融合模塊進行多模態特征融合；

步驟四：利用融合特征輸入到模型預測器取得當前幀的最優的預測模型，與全圖特征進行卷積操作以獲得得分權重圖，響應值高的位置則代表目標的預測位置，同時通過調制向量模塊進行包圍框的選取，完成對當前幀目標的準確定位；

步驟五：跟蹤下一幀。