[發明專利]一種基于注意力機制與全局推理的目標跟蹤方法及系統

在審

• 申請號: 202110656309.6
• 申請日: 2021-06-11
• 公開（公告）號: CN113592900A
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 鮑華;束平;許克應
• 申請（專利權）人: 安徽大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/73;G06N3/04;G06N3/08;G06N5/04
• 代理公司: 合肥天明專利事務所(普通合伙) 34115
• 代理人: 閆客

本發明公開了一種基于注意力機制與全局推理的目標跟蹤方法及系統，屬于計算機視覺技術領域，包括：利用基于孿生網絡的目標跟蹤模型進行目標跟蹤，目標跟蹤模型包括模板分支和搜索分支，模板分支和搜索分支均包括主干網絡、并行的注意力機制和全局推理模塊，包括：獲取初始幀圖片和當前幀圖片，分別作為模板分支和搜索分支分的輸入，得到第一得分圖和第二得分圖；將第一得分圖和第二得分圖進行加權求和，得到回歸圖；根據回歸圖，確定目標所在位置。本發明相較于現有的跟蹤算法，具有更好的跟蹤效果。

技術領域

本發明涉及計算機視覺技術領域，特別涉及一種基于注意力機制與全局推理的目標跟蹤方法及系統。

背景技術

目標跟蹤是計算機視覺領域的難題之一，它是更高級的視覺理解和場景分析的基礎。目標跟蹤技術廣泛用于視頻監視，人機交互，機器人技術，視頻編輯和無人駕駛。視覺對象跟蹤任務就是根據初始幀目標位置和大小信息，在后續幀中實現對移動目標的連續和穩定跟蹤。由于受到目標的尺度變化，旋轉，變形，快速運動以及背景照明的變化等類似的物體干擾，實現長期穩定的目標跟蹤仍然是一項艱巨的任務。

近年來，對視覺跟蹤任務的研究集中在兩個方面，一方面是提高算法的速度，另一方面是提高跟蹤的準確性。在速度方面，相關過濾算法是最成功的跟蹤框架之一，主要使用了快速傅里葉傅里葉變換和更簡單的手動功能，運行速度接近每秒700幀。但是這種方法在復雜的情況下通常很難處理，并且性能將大大降低。在準確性方面，基于深度學習的目標跟蹤方法顯示出非常強大的效果。與相關過濾算法相比，基于深度學習的目標跟蹤方法的目標跟蹤性能具有很大的提高，可以更好地處理最困難的場景，但其速度較慢。

為解決上述基于深度學習的目標跟蹤算法跟蹤速度慢的問題，提出了基于孿生網絡的目標跟蹤算法。相關研究人員首次提出孿生網絡的目標跟蹤，即將目標跟蹤問題轉化為一個patch塊匹配問題，并用神經網絡來實現；也有研究者提出了一個端到端的孿生網絡跟蹤算法SiamFC，其速度很快，所以接下來的幾年中出現了許多基于孿生網絡的目標跟蹤。

基于孿生網絡的目標跟蹤方法具有很高的速度和準確率優勢，因而受到了很強的關注度，但已有的一些孿生網絡跟蹤算法仍存在一些不足。下面針對典型的孿生網絡SiamFC和SiamRPN，指出其存在的兩方面不足，其一，它們使用的網絡結構較淺，提取的特征不充分，沒有很好的關注跟蹤目標本身，所以在面對一些跟蹤挑戰時會出現跟蹤失敗的情況。其二，它們都沒有考慮到上下文信息，在面對遮擋較大或者形變過大的物體容易導致跟蹤失敗。

發明內容

本發明的目的在于克服現有技術存在的缺陷，取得更好的跟蹤效果。

為實現以上目的，一方面，本發明采用一種基于注意力機制與全局推理的目標跟蹤方法，利用基于孿生網絡的目標跟蹤模型進行目標跟蹤，所述目標跟蹤模型包括模板分支和搜索分支，模板分支和搜索分支均包括主干網絡、并行的注意力機制和全局推理模塊，包括：

獲取初始幀圖片和當前幀圖片，分別作為模板分支和搜索分支分的輸入，得到第一得分圖和第二得分圖；

將第一得分圖和第二得分圖進行加權求和，得到回歸圖；

根據回歸圖，確定目標所在位置。

進一步地，所述主干網絡采用ReNeXt網絡結構，其用于對輸入的所述初始幀圖片或所述當前幀圖片進行特征提取，得到特征圖并作為所述注意力機制的輸入。

進一步地，所述注意力機制包括通道注意力機制和空間注意力機制，其中：

空間注意力機制用于對輸入的特征圖進行處理，得到第一特征圖；

通道注意力機制用于對輸入的特征圖進行處理，得到第二特征圖；

將第一特征圖和第二特征圖并行相加，得到注意力特征圖，并作為所述全局推理模塊的輸入。