[發(fā)明專利]一種基于孿生網(wǎng)絡(luò)的目標特定響應(yīng)注意力目標跟蹤方法

有效

• 申請?zhí)枺?/td>: 202010081733.8
• 申請日: 2020-02-06
• 公開（公告）號: CN111291679B
• 公開（公告）日: 2022-05-27
• 發(fā)明（設(shè)計）人: 王菡子;趙鵬輝;陳昊升;梁艷杰;嚴嚴
• 申請（專利權(quán)）人: 廈門大學(xué)
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/774;G06V10/82;G06N3/04
• 代理公司: 廈門南強之路專利事務(wù)所(普通合伙) 35200
• 代理人: 馬應(yīng)森

1.一種基于孿生網(wǎng)絡(luò)的目標特定響應(yīng)注意力目標跟蹤方法，其特征在于包括以下步驟：

1)給定一段視頻序列，其中第一幀包含已標記的目標，定義目標模板區(qū)域Z以及目標搜索區(qū)域X，目標模板區(qū)域Z在第一幀中基于給定標記截取后保持不變，目標搜索區(qū)域X是在當前要測試的視頻幀中獲取，利用上一幀得到的目標位置截取比目標模板區(qū)域Z更大的圖像塊；

2)將步驟1)所述目標模板區(qū)域和目標搜索區(qū)域輸入到全卷積孿生網(wǎng)絡(luò)，得到目標模板區(qū)域Z的CNN特征F_z和目標搜索區(qū)域X的CNN特征F_x；

3)將步驟2)所得CNN特征F_x和F_z輸入到目標特定響應(yīng)的注意力模型，得到由注意力機制加權(quán)的多通道的響應(yīng)圖S_multi，對響應(yīng)圖S_multi進行逐通道的求和得到最終的響應(yīng)圖S，將響應(yīng)圖S中響應(yīng)值最大的位置確定為目標初始位置；

所述得到最終的響應(yīng)圖S的具體步驟為：

(1)對目標搜索區(qū)域X和目標模板區(qū)域Z的CNN特征F_x和F_z進行逐通道的互相關(guān)操作，得到多通道的響應(yīng)圖，表示為：

S_multi＝Corr_cw(F_x,F_z)；

(2)將F_x輸入注意力網(wǎng)絡(luò)H(·),得到通道的注意力權(quán)重ω，注意力網(wǎng)絡(luò)由一個全局均值池化和一個三層的多層感知機構(gòu)成，表示為：

ω＝H(F_x)

(3)將計算得到的通道的注意力權(quán)重ω，加權(quán)到多通道的響應(yīng)圖S_multi上，得到加權(quán)的多通道響應(yīng)圖然后將與S_multi相加構(gòu)成殘差的結(jié)構(gòu)，再按通道求和得到最終的響應(yīng)圖S_final，整個過程表示為下式：

4)以步驟1)中上一幀得到的目標位置為中心，對目標搜索區(qū)域構(gòu)建搜索尺度金字塔，對尺度金字塔中每個估計尺度的搜索區(qū)域都執(zhí)行步驟3)，選用響應(yīng)值最高的目標搜索區(qū)域的尺度作為當前幀對應(yīng)的尺度，將目標位置和尺度結(jié)合即得到目標的實際大小和位置，從而實現(xiàn)目標跟蹤；

5)訓(xùn)練模型：模型的訓(xùn)練獨立于跟蹤過程，采用離線訓(xùn)練好模型后，將訓(xùn)練好的模型用于跟蹤步驟。

2.如權(quán)利要求1所述一種基于孿生網(wǎng)絡(luò)的目標特定響應(yīng)注意力目標跟蹤方法，其特征在于在步驟1)中，目標搜索區(qū)域X是在當前要測試的視頻幀中獲取的具體步驟如下：

1.1在初始幀根據(jù)真實的有效值截取出來的目標模板區(qū)域，目標模板區(qū)域截取的大小比實際目標稍大些，用來捕捉一些語義信息，目標模板區(qū)域截取的大小按以下公式計算：

其中，c是(w_z+h_z)/2,w_z表示目標模板區(qū)域Z的寬,h_z表示目標模板區(qū)域Z的高,然后將截取的模板圖像塊重新調(diào)整為125×125的大小，將調(diào)整尺度scale＝125/S_z保存,用于計算搜索區(qū)域的截取大小；

1.2關(guān)于搜索區(qū)域重新調(diào)整大小是255×255，為保證搜索區(qū)域的目標尺度和模板的尺度保持一致，搜索區(qū)域的實際截取大小為：S_x＝255/scale。