[發(fā)明專利]一種孿生網(wǎng)絡(luò)視頻目標(biāo)跟蹤方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202011164003.0
• 申請(qǐng)日: 2020-10-27
• 公開(kāi)（公告）號(hào): CN112348849B
• 公開(kāi)（公告）日: 2023-06-20
• 發(fā)明（設(shè)計(jì)）人: 胡棟;張虎;邱英燦
• 申請(qǐng)（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06V10/50;G06V10/52;G06V10/62;G06V10/774;G06V10/80;G06V10/82
• 代理公司: 南京縱橫知識(shí)產(chǎn)權(quán)代理有限公司 32224
• 代理人: 錢玲玲

1.一種基于分層注意力機(jī)制的孿生網(wǎng)絡(luò)視頻跟蹤方法，其特征在于，所述方法包括以下步驟：

步驟1、讀取并預(yù)處理網(wǎng)絡(luò)輸入的模板圖像和搜索圖像；

步驟2、將預(yù)處理后的模板圖像和搜索圖像分別輸入到訓(xùn)練好的孿生網(wǎng)絡(luò)模型中，經(jīng)過(guò)Inception模塊以及卷積層的特征提取模塊分別得到模板圖像和搜索圖像的特征圖；

所述孿生網(wǎng)絡(luò)模型包括模板分支和搜索分支，模板分支和搜索分支特征提取模塊分別提取特征，模板分支上加入注意力模塊進(jìn)行特征重標(biāo)定；

步驟3、通過(guò)模板分支網(wǎng)絡(luò)第三卷積層提取低層特征，通過(guò)模板分支網(wǎng)絡(luò)第五卷積層提取高層特征，將所述低層特征與所述高層特征分別通過(guò)注意力模塊；

步驟4、將模板分支通過(guò)注意力模塊的特征與搜索分支得到的特征進(jìn)行相關(guān)操作，得到各層對(duì)應(yīng)的響應(yīng)圖，再將各層響應(yīng)圖采用AdaBoost算法進(jìn)行融合得到最終響應(yīng)圖，進(jìn)而得到目標(biāo)位置；

步驟5、在目標(biāo)位置的基礎(chǔ)上利用尺度濾波器進(jìn)行尺度估計(jì)，通過(guò)設(shè)置尺度池，訓(xùn)練尺度濾波器選出最優(yōu)尺度大小；

步驟6、根據(jù)最優(yōu)尺度大小更新尺度濾波器；

步驟7、判斷當(dāng)前幀是否是最后一幀，如果是，則結(jié)束，否則讀取新一幀搜索圖像并跳轉(zhuǎn)步驟1。

2.根據(jù)權(quán)利要求1所述的基于分層注意力機(jī)制的孿生網(wǎng)絡(luò)視頻跟蹤方法，其特征在于，所述方法的步驟還包括：構(gòu)建并訓(xùn)練孿生網(wǎng)絡(luò)模型；

所述孿生網(wǎng)絡(luò)模型的構(gòu)建方法為：

構(gòu)建原孿生網(wǎng)絡(luò)模型，包括模板分支和搜索分支，所述模板分支和搜索分支均包括第一卷積層、第一池化層、第二卷積層、第二池化層、第三卷積層、第四卷積層、第五卷積層，將原孿生網(wǎng)絡(luò)模型的模板分支的第一卷積層用Inception模塊進(jìn)行替換，然后將第三、第五卷積層之后加上注意力模塊，將相關(guān)濾波器加到原孿生網(wǎng)絡(luò)模型的模板分支的第三卷積層之后；

所述孿生網(wǎng)絡(luò)模型的訓(xùn)練方法包括：用ImageNet數(shù)據(jù)集進(jìn)行訓(xùn)練，得到改進(jìn)后的網(wǎng)絡(luò)參數(shù)。

3.根據(jù)權(quán)利要求1所述的基于分層注意力機(jī)制的孿生網(wǎng)絡(luò)視頻跟蹤方法，其特征在于，步驟1中，所述預(yù)處理網(wǎng)絡(luò)輸入的模板圖像和搜索圖像的方法包括：

根據(jù)給定的初始目標(biāo)框(μ,ν,w,h)，(μ，ν)代表目標(biāo)中心位置的橫縱坐標(biāo)，(ω，h)代表目標(biāo)的寬度和高度；其中目標(biāo)的位置為pos(μ,ν)，目標(biāo)的尺度大小為target(w,h)，通過(guò)以下公式調(diào)整模板圖像的大小：

s(w+2p)×s(h+2p)＝A?????????(1)

其中A是模板圖像的大小，值為定值127²像素，s是尺度因子，p是上下文邊界；

先將包含上下文信息的(w+2p)×(h+2p)的圖片擴(kuò)展，然后進(jìn)行尺寸調(diào)整，生成大小為127×127像素的模板圖像；以相同的方式將搜索圖像的大小設(shè)置為255×255像素。

4.根據(jù)權(quán)利要求1所述的基于分層注意力機(jī)制的孿生網(wǎng)絡(luò)視頻跟蹤方法，其特征在于，步驟2中，所述特征圖的提取方法包括以下步驟：

為樣本X的第l層的特征向量，樣本X的第l層大小為M×N×D，R^M×N×D表示大小為M×N×D的實(shí)數(shù)集，M，N和D分別表示樣本X的寬度，高度和特征維度；第l層特征的相關(guān)濾波器所對(duì)應(yīng)的高斯函數(shù)為G_l，樣本X的第l層特征的相關(guān)濾波器需要最小化按下面公式計(jì)算：

其中為的第d個(gè)通道，表示為第d個(gè)通道的相關(guān)濾波器，*表示為循環(huán)卷積運(yùn)算，λ為正則化系參數(shù)(λ≥0)；通過(guò)FFT訓(xùn)練相關(guān)濾波器，求得第d個(gè)通道的相關(guān)濾波器為

樣本X通過(guò)第l個(gè)相關(guān)濾波器產(chǎn)生的相關(guān)響應(yīng)圖的計(jì)算公式為：

其中，F(xiàn)(·)表示進(jìn)行傅里葉變換，F(xiàn)^-1表示傅里葉反變換，^-表示復(fù)共軛，⊙表示逐像素相乘。