[發(fā)明專利]基于對(duì)比學(xué)習(xí)的孿生網(wǎng)絡(luò)目標(biāo)跟蹤方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110442621.5
• 申請(qǐng)日: 2021-04-23
• 公開（公告）號(hào): CN113240709B
• 公開（公告）日: 2022-05-20
• 發(fā)明（設(shè)計(jì)）人: 趙健;溫志津;劉陽;鮑雁飛;雍婷;范娜娜;李晉徽;晉曉曦;張清毅
• 申請(qǐng)（專利權(quán)）人: 中國(guó)人民解放軍32802部隊(duì)
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246
• 代理公司: 北京豐浩知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11781
• 代理人: 李學(xué)康

1.一種基于對(duì)比學(xué)習(xí)的孿生網(wǎng)絡(luò)目標(biāo)跟蹤方法，其特征在于，其利用表征模塊、相似度計(jì)算模塊、對(duì)比監(jiān)督模塊來實(shí)現(xiàn)；

所述的表征模塊，通過前向計(jì)算提取目標(biāo)模板和搜索圖像塊的深度特征，目標(biāo)模板和搜索圖像塊的深度特征用于目標(biāo)模板和搜索圖像塊中候選樣本相似度計(jì)算；表征模塊通過修改的標(biāo)準(zhǔn)ResNet-50神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)，其對(duì)標(biāo)準(zhǔn)ResNet-50神經(jīng)網(wǎng)絡(luò)去掉平均池化層和全連接層，修改conv4_x和conv5_x中的步長(zhǎng)為1,同時(shí)在最后增加一個(gè)卷積層以降低特征通道數(shù)，當(dāng)輸入目標(biāo)模板和搜索圖像塊時(shí)，所述的修改的標(biāo)準(zhǔn)ResNet-50神經(jīng)網(wǎng)絡(luò)通過前向計(jì)算輸入目標(biāo)模板和搜索圖像塊的深度特征；

所述的相似度計(jì)算模塊，利用目標(biāo)模板和搜索圖像塊的深度特征，計(jì)算目標(biāo)模板與搜索圖像塊中所有的候選樣本之間的相似度，相似度的計(jì)算公式為：

R＝X*S，

其中X是目標(biāo)模板的深度特征，S是搜索圖像塊的深度特征，*為卷積操作，R是二維響應(yīng)圖，其中的每個(gè)值表示搜索圖像塊中對(duì)應(yīng)位置候選樣本與目標(biāo)模板的相似度值；

所述的對(duì)比監(jiān)督模塊，根據(jù)相似度計(jì)算模塊計(jì)算得到的相似度值和真實(shí)目標(biāo)位置信息，計(jì)算損失函數(shù)，產(chǎn)生反饋信息，進(jìn)而反向傳播調(diào)節(jié)網(wǎng)絡(luò)參數(shù)；對(duì)比監(jiān)督模塊利用候選樣本與目標(biāo)模板之間的對(duì)比，約束目標(biāo)候選樣本與目標(biāo)模板的相似度值最大，即使得取最大值，對(duì)表征模塊的修改的標(biāo)準(zhǔn)ResNet-50神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)節(jié)，約束目標(biāo)候選樣本與目標(biāo)模板的相似度值最大時(shí)對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)參數(shù)為最優(yōu)參數(shù)，其中，r₊∈R表示目標(biāo)候選樣本與目標(biāo)模板的相似度值，表示第i個(gè)背景候選樣本與目標(biāo)模板的相似度值，τ是超參數(shù)；

該方法具體步驟包括：

在訓(xùn)練階段，在同一視頻序列不同幀圖像中均裁剪目標(biāo)模板和搜索圖像塊，搜索圖像塊包含目標(biāo)并且搜索圖像塊的尺寸大于目標(biāo)模板的尺寸；

將目標(biāo)模板和搜索圖像塊分別輸入對(duì)應(yīng)的表征模塊，表征模塊提取目標(biāo)模板和搜索圖像塊的深度特征；

將目標(biāo)模板和搜索圖像塊的深度特征輸入到相似度計(jì)算模塊，相似度計(jì)算模塊計(jì)算目標(biāo)模板和搜索圖像塊中所有的候選樣本之間的相似度值；

將相似度計(jì)算模塊計(jì)算得到的相似度值和搜索圖像塊中的真實(shí)目標(biāo)位置信息輸入到對(duì)比監(jiān)督模塊；對(duì)比監(jiān)督模塊選擇對(duì)應(yīng)真實(shí)目標(biāo)位置信息的候選樣本為目標(biāo)候選樣本，進(jìn)而計(jì)算候選樣本與目標(biāo)模板之間的對(duì)比損失函數(shù)；以最小化對(duì)比損失函數(shù)為目標(biāo)，計(jì)算梯度值，通過反向傳播調(diào)節(jié)網(wǎng)絡(luò)參數(shù)；

在推理階段，以當(dāng)前幀圖像的上一幀圖像的目標(biāo)幾何中心為中心，剪裁搜索圖像塊，根據(jù)第一幀圖像中的目標(biāo)位置裁剪目標(biāo)模板；同時(shí)將目標(biāo)模板和搜索圖像塊輸入表征模塊，表征模塊產(chǎn)生相應(yīng)的深度特征；將目標(biāo)模板和搜索圖像塊的深度特征輸入相似度計(jì)算模塊；相似度計(jì)算模塊分別計(jì)算目標(biāo)模板和搜索圖像塊中的所有候選樣本之間的相似度，相似度最大值對(duì)應(yīng)的候選樣本即為檢測(cè)得到的目標(biāo)，此候選樣本所在的位置即為目標(biāo)的所在位置；

利用兩個(gè)表征模塊分別對(duì)目標(biāo)模板和搜索圖像塊進(jìn)行深度特征提取，一個(gè)表征模塊用來提取目標(biāo)模板的深度特征，另一個(gè)表征模塊用來提取搜索圖像塊的深度特征，這兩個(gè)表征模塊共享網(wǎng)絡(luò)參數(shù)，從而構(gòu)成孿生網(wǎng)絡(luò)。

2.如權(quán)利要求1所述的基于對(duì)比學(xué)習(xí)的孿生網(wǎng)絡(luò)目標(biāo)跟蹤方法，其特征在于，所述的修改的標(biāo)準(zhǔn)ResNet-50神經(jīng)網(wǎng)絡(luò)由conv1、conv2_x、conv3_x、conv4_x、conv5_x和conv6串聯(lián)而成；conv1包含1個(gè)[7×7,64]卷積層，[7×7,64]表示卷積層的卷積核的長(zhǎng)和寬均為7，卷積層的通道數(shù)為64；conv2_x由一個(gè)池化層和3個(gè)擁有卷積層的模塊串聯(lián)而成，conv2_x的模塊由1個(gè)[1×1,64]卷積層、1個(gè)[3×3,64]卷積層和1個(gè)[1×1,256]卷積層串聯(lián)而成；conv3_x由4個(gè)模塊串聯(lián)而成，conv3_x的模塊由1個(gè)[1×1,128]卷積層、1個(gè)[3×3,128]卷積層和1個(gè)[1×1,512]卷積層串聯(lián)而成；conv4_x由6個(gè)模塊串聯(lián)而成，conv4_x的模塊由1個(gè)[1×1,256]卷積層、1個(gè)[3×3,256]卷積層和1個(gè)[1×1,1024]卷積層串聯(lián)而成；conv5_x由3個(gè)模塊串聯(lián)而成，conv5_x的模塊由1個(gè)[1×1,512]卷積層、1個(gè)[3×3,512]卷積層和1個(gè)[1×1,2048]卷積層串聯(lián)而成；conv6包含1個(gè)[1×1,256]卷積層。