[發明專利]一種孿生網絡視頻目標跟蹤方法及裝置

有效

• 申請號: 202011164003.0
• 申請日: 2020-10-27
• 公開（公告）號: CN112348849B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 胡棟;張虎;邱英燦
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06V10/50;G06V10/52;G06V10/62;G06V10/774;G06V10/80;G06V10/82
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 錢玲玲

本發明屬于視頻分析技術領域，公開了一種基于分層注意力機制的孿生網絡視頻目標跟蹤方法。本發明基于孿生網絡框架，將高層次特征與低層次特征融合起來，并且在提取特征的過程中，使用了注意力機制對特征圖進行重標定，使用AdaBoost算法對目標特征圖進行加權融合。本發明還使用了Inception模塊，一方面增加了網絡的寬度以及孿生網絡對尺度的適應性，另一方面還減少了參數，提高了網絡訓練的速度。在進行目標尺度估計時，本發明使用了基于區域的快速HOG特征提取算法。相比現有技術，本發明方法既能夠精確跟蹤目標，又能有效地提高跟蹤速度。

技術領域

本發明涉及一種基于分層注意力機制的孿生網絡視頻目標跟蹤方法，屬于視頻分析領域。

背景技術

視頻目標跟蹤是計算機視覺的研究熱點之一，在人機交互、軍事偵察、無人駕駛以及安防等諸多方面有著廣泛的應用前景。

相關濾波器由于其計算速度快，可以使目標跟蹤達到實時。但相關濾波使用的手工特征，由于特征表達能力有限，在復雜環境下的目標跟蹤能力有限。隨著深度學習的興起，研究人員開始將深度網絡學習獲得的特征應用到相關濾波中。例如，Ma等通過分析VGG-19的網絡特征，提出了一種分層卷積特征(Hierarchical?Convolutional?Features,HCF)方法。該方法研究發現高層特征反映目標的語義信息，對目標更加魯棒，而低層特征反映目標的細節信息，對目標的定位更加精確，后來，研究人員使用深度學習框架實現了端對端的目標跟蹤，跟蹤結果不斷精確，但由于訓練參數巨大，實時性受到影響。

雖然在過去幾十年該技術的研究取得了很大的進展，但由于在實際的跟蹤環境下，目標會受到背景雜波、尺度變化以及遮擋等復雜情形的影響，因此設計一個準確、高效、魯棒地跟蹤器始終具有重要的應用價值。

發明內容

本發明的目的在于克服現有技術中的不足，提供一種基于分層注意力機制的孿生網絡視頻目標跟蹤方法，解決在視頻目標跟蹤中，目標受到背景雜波等復雜環境的影響，會出現目標漂移或跟蹤實時性下降，并且還要考慮目標尺度變化的技術問題。

為達到上述目的，本發明是采用下述技術方案實現的：

第一方面，本發明提供了一種基于分層注意力機制的孿生網絡視頻跟蹤方法，所述方法包括以下步驟：

步驟1、讀取并預處理網絡輸入的模板圖像和搜索圖像；

步驟2、將預處理后的模板圖像和搜索圖像分別輸入到訓練好的孿生網絡模型中，經過Inception模塊以及卷積層的特征提取模塊分別得到模板圖像和搜索圖像的特征圖；

所述孿生網絡模型包括模板分支和搜索分支，模板分支和搜索分支特征提取模塊分別提取特征，模板分支上加入注意力模塊進行特征重標定；

步驟3、通過模板分支網絡第三卷積層提取低層特征，通過模板分支網絡第五卷積層提取高層特征，將所述低層特征與所述高層特征分別通過注意力模塊；

步驟4、將模板分支通過注意力模塊的特征與搜索分支得到的特征進行相關操作，得到各層對應的響應圖，再將各層響應圖采用AdaBoost算法進行融合得到最終響應圖，進而得到目標位置；

步驟5、在目標位置的基礎上利用尺度濾波器進行尺度估計，通過設置尺度池，訓練尺度濾波器選出最優尺度大小；

步驟6、根據最優尺度大小更新尺度濾波器；

步驟7、判斷當前幀是否是最后一幀，如果是，則結束，否則讀取新一幀搜索圖像并跳轉步驟1。

進一步的，所述方法的步驟還包括：構建并訓練孿生網絡模型；

所述孿生網絡模型的構建方法為：