[發明專利]一種基于困難樣本感知的RGBT目標跟蹤方法

有效

• 申請號: 202110111705.0
• 申請日: 2021-01-27
• 公開（公告）號: CN112801182B
• 公開（公告）日: 2022-11-04
• 發明（設計）人: 涂錚錚;林春;李成龍;湯進;羅斌
• 申請（專利權）人: 安徽大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/80;G06V10/82;G06N3/04;G06N3/08;G06T7/246
• 代理公司: 南京華恒專利代理事務所(普通合伙) 32335
• 代理人: 宋方園

1.一種基于困難樣本感知的RGBT目標跟蹤方法，其特征在于：包括以下步驟：

步驟S1、構建數據庫，獲得數據集

采集多模態相機拍攝的圖片，并對圖片進行人工配準和標注，按要求篩選出適合訓練和測試的圖片，并標注上相應標簽，形成對應訓練集和測試集；

步驟S2、分別對訓練集和測試集中的圖片進行預準備，即將每一張圖片所在的路徑位置和圖片內目標所處的像素位置均加入到一個各自的XML文件內，以方便后續對圖片的讀入；

步驟S3、通過XML文件讀取對應圖片信息，所述圖片信息包括圖片的路徑、圖片內目標的坐標，然后對訓練集中的圖片進行數據增強的預處理操作，進而擴充訓練集中的圖片數據量；

步驟S4、構建優化目標跟蹤模型，該模型中包括實時跟蹤網絡RT-MDNet、VGG-M特征提取模塊、前景增強模塊、特征嵌入模塊和二分類模塊；具體方法為：

S4.1、將預處理后的可見光圖片和熱紅外圖片同時輸入到網絡中；

S4.2、加載兩個結構相同但參數不同的VGG-M特征提取模塊分別對訓練集中的可見光圖片和熱紅外圖片進行特征提取；

S4.3、針對步驟S4.2所提取的特征，使用全局平均池化GAP層和softmax層融合兩個模態的特征；

S4.4、使用自適應的ROIAlign將原圖上樣本的矩形包圍盒映射到原圖的特征圖上，得到相應的樣本特征；原圖是指步驟S4.1中輸入的可見光圖片和熱紅外圖片；

S4.5、將步驟S4.4提取的樣本特征通過前景增強模塊生成前景掩膜來增強前景特征，具體方法為：

(1)對于同一個特征圖分別經過兩個相同結構的網絡：前景網絡和背景網絡；前景網絡中先使用目標增強模塊對前景目標進行學習前景的mask，然后使用中間的目標注意力損失函數對前景mask的學習；最終得到對應特征圖；

其中，目標增強模塊的網絡結構通過對應卷積操作進行目標增強，依次為：使用1*1*256卷積核來對特征進行降維，3*3*128的卷積核繼續提取特征，1*1*64卷積核進行特征降低維數減少網絡參數；

(2)將所得特征圖對應通道的特征值進行相加求平均，然后按照通道池化操作通過一個sigmoid函數，就生成對應一個前景mask；

(3)生成前景mask后，對背景的mask進行掩膜，通過目標注意力損失函數對mask學習，公式如下所示：

上式中，Z^f是前景的mask掩膜，F^g是增強后的前景特征，Z^b是背景的mask掩膜，B^g是增強后的背景特征，和是對F和B在空間維度上執行l²規范化的結果；F是前景的特征，B是背景的特征；g是增強操作，因此F^g和B^g是增強后的前景和背景特征，L_t是指目標注意力損失函數；f和b是前景和背景的上標；l²是范式約束，c指的是通道的標志，是第幾通道；

S4.6、使用困難樣本感知的結構性損失函數挖掘更多困難樣本來訓練特征嵌入空間，用來輔助分類器目標背景的分類；

S4.7、使用softmax損失函數計算二分類損失，再與困難樣本感知的結構性損失函數一起共同更新網絡參數。

2.根據權利要求1所述的基于困難樣本感知的RGBT目標跟蹤方法，其特征在于：所述步驟S1中多模態相機拍攝的圖片包括可見光圖片和熱紅外圖片；人工標注時使用labelimg標注軟件，對包含目標的部分畫框，生成的坐標格式為(xmin，ymin，width，height)，其中，(xmin，ymin)代表目標左上角信息，(width，height)表示的是目標框的寬和高。

3.根據權利要求1所述的基于困難樣本感知的RGBT目標跟蹤方法，其特征在于：所述步驟S2中將標注完成的熱紅外圖片和可見光圖片分別放在infrared和visible兩個文件夾內，坐標文件按照infrared.txt和visible.txt格式和兩個文件夾在同一目錄下。