[發明專利]一種基于Siamese網絡的單目標跟蹤方法

有效

• 申請號: 202010550201.4
• 申請日: 2020-06-16
• 公開（公告）號: CN111797716B
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 饒云波;程奕茗;郭毅;薛俊民
• 申請（專利權）人: 電子科技大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/26;G06N3/04;G06N3/08
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 周劉英

本發明公開了一種基于Siamese網絡的單目標跟蹤方法，屬于目標跟蹤技術領域。本發明首先構建Siamese網絡的神經網絡部分并訓練Siamese卷積神經網絡權重，在訓練過程中基于嵌入式損失函數的神經網絡模型進行，同時將各層特征進行融合，并使用隨機梯度下降算法進行損失優化，然后通過RPN得到分類與回歸的結果，最后針對分類與回歸的結果進行后續幀的跟蹤。本發明能夠更好的檢測定位到跟蹤目標，能夠有效融合圖像檢測上的方法到目標跟蹤上，使用圖像幀的方式代替視頻，減少了訓練成本和計算開銷。從而提升跟蹤處理效率，并對相似物體區分上效果更為明顯。

技術領域

本發明屬于目標跟蹤技術領域，具體涉及一種基于Siamese網絡預測技術的單目標跟蹤技術。

背景技術

隨著硬件、軟件及人工智能多個領域的迅速發展，目標跟蹤成為計算機視覺研究領域的熱點之一，并得到廣泛應用。相機的跟蹤對焦、無人機的自動目標跟蹤等都需要用到目標跟蹤技術。另外還有特定物體的跟蹤，比如人體跟蹤，交通監控系統中的車輛跟蹤，人臉跟蹤和智能交互系統中的手勢跟蹤等。簡單來說，目標跟蹤就是在連續的視頻序列中，建立所要跟蹤物體的位置關系，得到物體完整的運動軌跡。給定圖像第一幀的目標坐標位置，計算在下一幀圖像中目標的確切位置。在運動的過程中，目標可能會呈現一些圖像上的變化，比如姿態或形狀的變化、尺度的變化、背景遮擋或光線亮度的變化等。目標跟蹤算法的研究也圍繞著解決這些變化和具體的應用展開。

目前的單目標跟蹤技術主要有：

(1)經典目標跟蹤方法：2010年以前，目標跟蹤領域大部分采用經典的跟蹤方法，比如Meanshift方法、基于特征點的光流跟蹤算法等。Meanshift方法是一種基于概率密度分布的跟蹤方法，使目標的搜索一直沿著概率梯度上升的方向，迭代收斂到概率密度分布的局部峰值上?；谔卣鼽c的光流跟蹤算法，首先進行目標特征點提取，然后計算下一幀特征點的光流匹配點，最后統計以得到目標位置。

(2)基于相關濾波的跟蹤算法：如：Particle Filter和Kalman Filter等，2012年P.Martins提出基于循環矩陣的核跟蹤方法(Circulant Structure of Tracking-by-Detection with Kernels,CSK)，從數學上完美解決了密集采樣(Dense Sampling)的問題，利用傅立葉變換快速實現了檢測的過程。在訓練分類器時，一般認為離目標位置較近的是正樣本，而離目標較遠的認為是負樣本。該框架采用密集采樣，能夠學習到一個區域內所有圖像塊的特征。而長效跟蹤方法(Tracking-Learning-Detection，TLD)僅在每一幀中隨機地挑選一些塊進行訓練，學習到的特征是這些隨機子窗口的特征。

3)基于深度學習的跟蹤方法：最近幾年深度學習技術成功應用在計算機視覺的各個應用領域，跟蹤也不例外。在大數據背景下，利用深度學習訓練網絡模型，得到的卷積特征輸出表達能力更強。在目標跟蹤上，初期的應用方式是把網絡學習到的特征，直接應用到相關濾波或Struck的跟蹤框架里面，從而得到更好的跟蹤結果。本質上卷積輸出得到的特征表達，更優于直方圖特征或顏色屬性特征，但也帶來了計算量的增加。

此外，基于Siamese網絡的深度學習成為了近幾年的熱門，比較流行的SiamRPN不僅在跟蹤速度上相比于傳統網絡有所提高，跟蹤精度也比之前的跟蹤網絡要高出很多。SiamRPN網絡由Siamese網絡和區域推薦網絡(Region Proposal Network，RPN)兩部分組成，前者用來提取特征，后者用來產生候選區域。其中，RPN子網絡由兩個分支組成，一個是用來區分目標和背景的分類分支，另外一個是微調候選區域的回歸分支。整個網絡實現了端到端的訓練。但SiamRPN網絡由于修改參數導致結果差異大，容錯性較低。

目標跟蹤主要是解決形態變化、尺度變化、遮擋與消失、圖像模糊等相關問題，提取目標語義信息的精準度直接影響著跟蹤效果。傳統方法主要存在如下限制：

(1)缺乏必要的模板更新；