[發明專利]一種基于編解碼結構的目標跟蹤方法

有效

• 申請號: 202010518310.8
• 申請日: 2020-06-09
• 公開（公告）號: CN111696136B
• 公開（公告）日: 2023-06-16
• 發明（設計）人: 王正寧;曾浩;潘力立;趙德明;曾儀;劉怡君;彭大偉
• 申請（專利權）人: 電子科技大學
• 主分類號: G06T7/246
• 分類號: G06T7/246
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 周劉英

本發明公開了一種基于編解碼結構的目標跟蹤方法，該方法使用編碼器?解碼器與鑒別器組合，構建類似生成對抗網絡結構，使得編碼器提取的特征更加泛化，學習到被跟蹤對象的本質特征。由于對象幀中存在被半遮擋、受到光照、運動模糊影響的對象，使得網絡受到這些影響更小，更具魯棒性。使用Focal?Loss使用替代傳統的交叉熵損失函數，使得網絡減少易分類樣本的損失，使得模型更關注于困難的、錯分的樣本，同時平衡正負樣本數量的不均衡。使用Distance?U?loss作為回歸損失，不僅關注重疊區域，還關注其他的非重合區域，具有尺度不變性，可以為邊界框提供移動方向，同時具有較快的收斂速度。

技術領域

本發明屬于圖像處理和計算機視覺領域，具體涉及一種基于編碼器-解碼器結構的目標跟蹤方法。

背景技術

計算機視覺的主要目標之一是使計算機能夠復制人類視覺的基本功能，如運動感知和場景理解。為了實現智能運動感知的目標，在視覺物體跟蹤方面投入了大量精力，這是計算機視覺中最重要、最具挑戰性的研究課題之一。從本質上講，可視對象跟蹤的核心是在輸入圖像序列的每個幀中可靠估計目標對象的運動狀態(即位置、方向、大小等)。目標跟蹤算法在現階段主要有兩個大的分支，一個是基于相關濾波算法，一個是基于深度學習算法。本發明所提出的目標跟蹤方法屬于深度學習這一分支。而基于深度學習主要有：卷積神經網絡；循環神經網絡；生成對抗網絡；孿生神經網絡這四種主要方法。

“Fully-convolutional?siamese?networks?for?object?tracking，L.Bertinetto,J.Valmadre,J.F.Henriques,A.Vedaldi,and?P.H.Torr，In?ECCVWorkshops,2016”即為典型的基于孿生神經網絡目標跟蹤深度網絡，孿生網絡通過兩個相同結構、參數共享的卷積神經網絡提取區域特征與跟蹤目標特征，通過在區域特征中尋找與目標特征相似的位置，確定跟蹤目標在區域中的位置。該方法是一種比較原始的孿生網絡，總體性能較低。發明專利“一種基于孿生神經網絡和注意力模型的無人機跟蹤方法，公開號CN110675423A”也使用了孿生網絡，其訓練中的分類損失選擇交叉熵，但普通的交叉熵對于正樣本而言，輸出概率越大損失越小。對于負樣本而言，輸出概率越小則損失越小。此時的損失函數在大量簡單樣本的迭代過程中比較緩慢且可能無法優化至最優，而目標跟蹤任務由于錨框的存在，恰恰存在許多簡單樣本。發明專利“一種基于孿生網絡的目標跟蹤方法，公開號CN110807793A”也是基于孿生網絡的目標跟蹤方法，其回歸損失選取的L1損失函數。L1損失函數對4個坐標值進行分別回歸，但該損失函數存在以下的不足：首先用該損失函數計算目標檢測的包圍框回歸損失時，獨立求出4個點的損失，然后進行相加得到最終的包圍框回歸損失，這種做法的假設是4個點是相互獨立，但事實上該四個點存在相關性；其次實際評價框檢測的指標是使用交并比，與L1不等價。“Fully-convolutional?siamesenetworks?for?object?trac?king，L.Bertinetto,J.Valmadre,J.F.Henriques,A.Vedaldi,and?P.H.Torr，I?n?ECCV?Workshops,2016”和“一種基于孿生神經網絡和注意力模型的無人機跟蹤方法，公開號CN110675423A”提取特征的卷積神經網絡雖然結構不同，但都是基于ImageNet圖片數據庫進行的預訓練，再對整個網絡進行端到端的訓練。由于孿生網絡具有比較高的復雜性，這種預訓練對于整個網絡的訓練非常必要。但基于ImageNet圖片數據庫的預訓練任務是基于分類任務，其卷積神經網絡部分提取的特征也更加適用于分類任務，與適用于跟蹤任務的特征提取需要存在不匹配。