[發(fā)明專(zhuān)利]一種基于注意力多模態(tài)特征融合的無(wú)監(jiān)督RGB-T目標(biāo)跟蹤方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210138232.8
• 申請(qǐng)日: 2022-02-15
• 公開(kāi)（公告）號(hào): CN114494354A
• 公開(kāi)（公告）日: 2022-05-13
• 發(fā)明（設(shè)計(jì)）人: 姚睿;李生蘭;周勇;祝漢城;劉兵;趙佳琦;邵志文;杜文亮
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)礦業(yè)大學(xué)
• 主分類(lèi)號(hào): G06T7/246
• 分類(lèi)號(hào): G06T7/246;G06N3/08;G06N3/04
• 代理公司: 南京冠譽(yù)至恒知識(shí)產(chǎn)權(quán)代理有限公司 32426
• 代理人: 黃成萍

1.一種基于注意力多模態(tài)特征融合的無(wú)監(jiān)督RGB-T目標(biāo)跟蹤方法，其特征在于：包括如下步驟：

(1)將裁減為125×125大小的三個(gè)視頻幀的RGB圖像及其對(duì)應(yīng)的熱紅外圖像輸入到兩層卷積網(wǎng)絡(luò)進(jìn)行特征提取，得到各圖像的第一水平特征和第二水平特征；

(2)利用特征融合模塊同時(shí)融合跨模態(tài)和跨水平的特征，得到融合后的模板特征T及兩個(gè)搜索幀特征S₂和S₃；

(3)對(duì)模板特征T及兩個(gè)搜索幀特征S₂和S₃進(jìn)行前向跟蹤獲取前向跟蹤響應(yīng)圖

(4)互換模板特征T和搜索幀特征S₃，將前向跟蹤響應(yīng)圖作為偽標(biāo)簽監(jiān)督進(jìn)行反向跟蹤獲得最終響應(yīng)圖R；

(5)計(jì)算最終響應(yīng)圖R與模板特征T的真實(shí)標(biāo)簽Q之間的一致性損失進(jìn)行無(wú)監(jiān)督訓(xùn)練，得到訓(xùn)練好的無(wú)監(jiān)督RGB-T目標(biāo)跟蹤網(wǎng)絡(luò)；

(6)將視頻幀輸入到訓(xùn)練好的無(wú)監(jiān)督RGB-T目標(biāo)跟蹤網(wǎng)絡(luò)進(jìn)行前向跟蹤得到前向跟蹤響應(yīng)圖，得到的前向跟蹤響應(yīng)圖即為目標(biāo)的跟蹤結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于注意力多模態(tài)特征融合的無(wú)監(jiān)督RGB-T目標(biāo)跟蹤方法，其特征在于：所述步驟(1)中，將三個(gè)視頻幀的RGB圖像及其對(duì)應(yīng)的熱紅外圖像輸入到兩層卷積網(wǎng)絡(luò)進(jìn)行特征提取，三個(gè)視頻幀的RGB圖像表示為對(duì)應(yīng)的熱紅外圖像表示為將f₁＝(f₁^v,f₁ⁱ)作為模板幀，將和作為搜索幀；所述兩層卷積網(wǎng)絡(luò)的第一層為一個(gè)輸出通道數(shù)為3、卷積核大小為3×3的濾波器，通過(guò)第一層獲得圖像的第一水平特征，的第一水平特征表示為兩層卷積網(wǎng)絡(luò)的第二層為一個(gè)輸出通道數(shù)為32、卷積核大小為3×3的濾波器，通過(guò)第二層獲得圖像的第二水平特征，的第二水平特征表示為

3.根據(jù)權(quán)利要求1所述的基于注意力多模態(tài)特征融合的無(wú)監(jiān)督RGB-T目標(biāo)跟蹤方法，其特征在于：所述步驟(2)中，利用特征融合模塊同時(shí)融合跨模態(tài)及跨水平的特征，特征融合模塊由三個(gè)迭代的AFF(a,b)函數(shù)組成，融合過(guò)程如下：

其中：M(·)表示使用多規(guī)模通道注意力模塊對(duì)·進(jìn)行處理；表示逐像素加法，表示逐像素乘法。

4.根據(jù)權(quán)利要求1所述的基于注意力多模態(tài)特征融合的無(wú)監(jiān)督RGB-T目標(biāo)跟蹤方法，其特征在于：所述步驟(3)中，利用目標(biāo)模板濾波器對(duì)模板特征T及兩個(gè)搜索幀特征S₂和S₃進(jìn)行前向跟蹤，目標(biāo)模板濾波器表示為：

其中：X表示目標(biāo)模板濾波器的輸入，W_X表示針對(duì)輸入X的輸出，Y表示X的濾波標(biāo)簽，λ表示正則化參數(shù)；F(·)表示對(duì)·進(jìn)行離散傅里葉變換，F(xiàn)^-1(·)表示對(duì)·進(jìn)行離散傅里葉逆變換，F(xiàn)^*(·)是F(·)的共軛復(fù)數(shù)；

利用目標(biāo)模板濾波器對(duì)模板特征T及兩個(gè)搜索幀特征S₂和S₃進(jìn)行前向跟蹤，包括如下步驟：

(31)將模板特征T的真實(shí)標(biāo)簽Q作為模板特征T的濾波標(biāo)簽，將模板特征T輸入到目標(biāo)模板濾波器得到W_T；

(32)計(jì)算搜索特征S₂的響應(yīng)為：

其中：為模板特征T與搜索特征S₂生成的響應(yīng)圖；

(33)將作為搜索特征S₂的濾波標(biāo)簽，將搜索特征S₂輸入到目標(biāo)模板濾波器得到

(34)計(jì)算搜索特征S₃的響應(yīng)為：

其中：為前向跟蹤響應(yīng)圖。