[發(fā)明專利]基于改進的暹羅網(wǎng)絡(luò)的目標跟蹤方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202111022608.0
• 申請日: 2021-09-01
• 公開（公告）號: CN113888587A
• 公開（公告）日: 2022-01-04
• 發(fā)明（設(shè)計）人: 李天平;嚴業(yè)金;丁同賀;霍文曉;歐佳瑜;劉智鳳
• 申請（專利權(quán)）人: 山東師范大學(xué)
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/13;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 黃海麗

1.基于改進的暹羅網(wǎng)絡(luò)的目標跟蹤方法，其特征是，包括：

獲取模板圖像和待跟蹤圖像；

將模板圖像和待跟蹤圖像，均輸入到訓(xùn)練后的改進的暹羅網(wǎng)絡(luò)中，輸出待跟蹤圖像的目標跟蹤結(jié)果；

其中，訓(xùn)練后的改進的暹羅網(wǎng)絡(luò)，對模板圖像提取出模板深層特征和模板淺層特征；訓(xùn)練后的改進的暹羅網(wǎng)絡(luò)，對待跟蹤圖像提取出待跟蹤深層特征和待跟蹤淺層特征；

訓(xùn)練后的改進的暹羅網(wǎng)絡(luò)，對模板深層特征和待跟蹤深層特征進行處理得到目標框的第一次定位結(jié)果；

對模板淺層特征、待跟蹤淺層特征和第一次定位結(jié)果進行處理，得到第二次定位結(jié)果，將第二次定位結(jié)果作為待跟蹤圖像的最終目標跟蹤結(jié)果。

2.如權(quán)利要求1所述的基于改進的暹羅網(wǎng)絡(luò)的目標跟蹤方法，其特征是，

所述改進的暹羅網(wǎng)絡(luò)，其網(wǎng)絡(luò)結(jié)構(gòu)包括：第一神經(jīng)網(wǎng)絡(luò)和第二神經(jīng)網(wǎng)絡(luò)；

其中，所述第一神經(jīng)網(wǎng)絡(luò)的輸入端用于輸入模板圖像，所述第一神經(jīng)網(wǎng)絡(luò)有兩個輸出端，其中一個輸出端用于輸出模板圖像的深層特征，另外一個輸出端用于輸出模板圖像的淺層特征；

模板圖像的深層特征被送入第三神經(jīng)網(wǎng)絡(luò)的輸入端，第三神經(jīng)網(wǎng)絡(luò)的輸出端與第一互相關(guān)模塊的輸入端連接；

模板圖像的淺層特征被送入裁剪模塊的輸入端，裁剪模塊的輸出端與第二互相關(guān)模塊的輸入端連接；

待跟蹤圖像的深層特征被直接送入第一互相關(guān)模塊的輸入端；

待跟蹤圖像的淺層特征被送入空間注意力機制層的輸入端；空間注意力機制層的輸出端與第二互相關(guān)模塊的輸入端連接；

第一互相關(guān)模塊的輸出端，輸出第一次目標定位結(jié)果；并將第一次目標定位結(jié)果發(fā)送給第二互相關(guān)模塊；

第二互相關(guān)模塊輸出第二次目標定位結(jié)果。

3.如權(quán)利要求2所述的基于改進的暹羅網(wǎng)絡(luò)的目標跟蹤方法，其特征是，

深層特征是指改進的暹羅網(wǎng)絡(luò)中第一神經(jīng)網(wǎng)絡(luò)和第二神經(jīng)網(wǎng)絡(luò)的最后一個卷積層提取到的特征；

淺層特征是改進的暹羅網(wǎng)絡(luò)中第一神經(jīng)網(wǎng)絡(luò)和第二神經(jīng)網(wǎng)絡(luò)的第二卷積層提取到的特征得到的。

4.如權(quán)利要求2所述的基于改進的暹羅網(wǎng)絡(luò)的目標跟蹤方法，其特征是，

所述第一神經(jīng)網(wǎng)絡(luò)，為改進的Alexnet網(wǎng)絡(luò)；所述第一神經(jīng)網(wǎng)絡(luò)，輸入為127*127*3的圖像，依次經(jīng)過卷積層conv1，池化層pool1，卷積層conv2，卷積層conv3，池化層pool2，卷積層conv4，卷積層conv5，最終得到7*7*384的特征圖像；

所述第三神經(jīng)網(wǎng)絡(luò)，實際為第一神經(jīng)網(wǎng)絡(luò)的部分結(jié)構(gòu)，網(wǎng)絡(luò)結(jié)構(gòu)包括：輸入59*59*256大小特征圖后，分別經(jīng)過池化層pool1，卷積層conv2，卷積層conv3，池化層pool2，卷積層conv5，最終輸出7*7*384的特征圖。

5.如權(quán)利要求2所述的基于改進的暹羅網(wǎng)絡(luò)的目標跟蹤方法，其特征是，

所述第一互相關(guān)模塊，通過將7*7*384特征圖作為卷積核，使用23*23*384特征圖作為權(quán)重乘以卷積核，將得到的結(jié)果相加作為互相關(guān)值輸出，互相關(guān)值最大時的搜索窗口位置決定了目標在待匹配圖像中的位置。

6.如權(quán)利要求2所述的基于改進的暹羅網(wǎng)絡(luò)的目標跟蹤方法，其特征是，

所述裁剪模塊，是指將第一神經(jīng)網(wǎng)絡(luò)得到的27*27*384特征圖進行裁剪，選取特征圖的每個邊的中心點，從每個邊的中心點向特征圖中心點方向移動設(shè)定距離，選擇裁剪區(qū)域的中心點，根據(jù)裁剪區(qū)域中心點和設(shè)定的裁剪尺寸，對裁剪區(qū)域進行裁剪，最終得到四個裁剪區(qū)域。