[發明專利]一種基于困難樣本感知的RGBT目標跟蹤方法

有效

• 申請號: 202110111705.0
• 申請日: 2021-01-27
• 公開（公告）號: CN112801182B
• 公開（公告）日: 2022-11-04
• 發明（設計）人: 涂錚錚;林春;李成龍;湯進;羅斌
• 申請（專利權）人: 安徽大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/80;G06V10/82;G06N3/04;G06N3/08;G06T7/246
• 代理公司: 南京華恒專利代理事務所(普通合伙) 32335
• 代理人: 宋方園

本發明公開一種基于困難樣本感知的RGBT目標跟蹤方法，包括對行可見光圖片和熱紅外圖片進行配準標注分成訓練集和測試集，然后對構建對應模型對預處理后的圖片進行訓練和測試；模型中包括實時跟蹤網絡RT?MDNet、VGG?M特征提取模塊、前景增強模塊、特征嵌入模塊和二分類模塊，本發明在低光照光照變化強烈等極端條件下跟蹤上目標，通過前景增強模塊來增強前景信息抑制背景信息，并通過困難樣本感知損失函數，挖掘更多困難樣本，輔助分類器目標背景的分類。

技術領域

本發明屬于計算機視覺目標跟蹤技術，具體涉及一種基于困難樣本感知的RGBT目標跟蹤方法。

背景技術

視頻目標跟蹤作為計算機視覺中的一個重要分支，在視頻監控、無人機巡航、智能監控等應用中起到了關鍵的作用，同時也能幫助解決其他計算機視覺任務。目標跟蹤是給出第一幀中的目標，在后續幀中利用一個合適大小的矩形框實現目標物體的跟蹤，其中包含每一幀中物體的尺度信息和位置信息。

隨著深度學習的快速發展，視頻目標跟蹤的性能問題得到了很大的提升，但在跟蹤問題中仍然有很多的問題需要進一步的解決。視頻目標跟蹤是基于視頻幀來處理的，所以在視頻幀跟蹤的過程中，背景和前景都會發生變化，因此主要的挑戰包括：遮擋、形變、背景雜亂、尺度變化、光照等，這些挑戰無疑增加了視頻目標跟蹤的難度。當前一些跟蹤器有針對性地解決相關的挑戰以此來提高跟蹤的效率。同時也出現了利用其他模態的圖片信息來彌補單個模態的缺陷，減緩甚至消除單個模態下某些挑戰的影響。因此，越來越多的研究關注于利用多模態的互補信息來提高跟蹤性能，熱紅外模態尤其適合于低光照或者光照變化強烈的條件下。

近年來，研究者們提出眾多深度度量學習方法，并在圖像檢索、行人車輛的重識別以及目標跟蹤上取得很好的效果。深度度量學習方法通過采用卷積神經網絡作為其嵌入函數，極大的提高了嵌入表達的性能。具體來說，這些方法訓練神經網絡將圖像投影到一個嵌入空間上，如果兩個樣本示例在語義上相似，那么樣本間的歐式距離或馬氏距離就會比較小，否則距離就會比較大。因此，深度度量學習的加入，可以輔助分類器對樣本進行更好的分類，可以應用于許多分類任務中。

發明內容

發明目的：本發明的目的在于解決現有技術中存在的不足，提供一種基于困難樣本感知的RGBT目標跟蹤方法，通過挖掘更多有價值的困難樣本加入訓練，提高RGBT目標跟蹤模型的判別性和魯棒性。

技術方案：本發明的一種基于困難樣本感知的RGBT目標跟蹤方法，包括以下步驟：

步驟S1、構建數據庫，獲得數據集；

采集多模態相機拍攝的圖片，并對圖片進行人工配準和標注，按要求篩選出適合訓練和測試的圖片，并標注上相應挑戰，形成對應訓練集和測試集；

步驟S2、分別對訓練集RGBT234和測試集GTOT中的圖片進行預處理，即將每一張圖片所在的路徑位置和圖片內目標所處的像素位置均分別加入到各自的XML文件內，以方便后續對圖片的讀入；

步驟S3、通過MLX文件讀取對應圖片信息，所述圖片信息包括圖片的路徑、圖片內目標的坐標等，然后對訓練集中的圖片進行數據增強的預處理(例如旋轉、縮放、平移、翻轉、裁剪等)，進而擴充訓練集中的圖片數據量，豐富圖片的數據量；

步驟S4、構建優化目標跟蹤模型，該模型中包括實時跟蹤網絡RT-MDNet、VGG-M特征提取模塊、前景增強模塊、特征嵌入模塊和二分類模塊；具體方法為：

S4.1、將預處理后的可見光圖片和熱紅外圖片同時輸入到網絡中(基礎網是RT-MDNet)；

S4.2、加載兩個結構相同且參數不同的VGG-M特征提取模塊分別對兩個數據源(即是指訓練集中的可見光圖片和熱紅外圖片)的數據進行特征提取；