[發明專利]一種基于孿生網絡的目標跟蹤方法

有效

• 申請號: 201910930500.8
• 申請日: 2019-09-29
• 公開（公告）號: CN110807793B
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 申富饒;姜少魁;李俊;趙健
• 申請（專利權）人: 南京大學;南京和光智能制造研究院有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 胡建華;于瀚文

本發明提供了一種基于孿生網絡的目標跟蹤方法，包括：步驟1，讀入要跟蹤的圖像序列或者視頻的第一幀，并通過框選的方式指定所要跟蹤的目標的位置；步驟2：記錄跟蹤目標的位置，并將目標的RGB圖像輸入網絡，得到特征圖；步驟3：讀入圖像序列或者視頻的下一幀，選擇上一幀目標位置周圍的部分圖像輸入網絡，得到特征圖；步驟四：將兩張特征圖進行卷積操作，獲得新的特征圖；步驟五：在新的特征圖上用小卷積核進行卷積，得到更抽象的特征圖；步驟六：將最后的特征圖經過全連接層，輸出目標在當前幀的坐標與圖像中心的偏移量以及寬高比；步驟七：根據步驟六的輸出，在當前幀畫出目標的位置。

技術領域

本發明涉及一種基于孿生網絡的目標跟蹤方法。

背景技術

目標跟蹤(Object Tracking)技術旨在通過計算機視覺在連續的圖片序列或者視頻中確定目標的位置。目標跟蹤可以將不同幀聯系起來，從而更加充分地利用視頻或者圖片序列的信息。不同于目標檢測(object detection)，目標跟蹤得到不僅僅是目標當前所在的位置，還可以分析出目標的運動以及移動軌跡，這也使得目標跟蹤具有非常重要的研究價值。目標跟蹤可以應用在無人駕駛當中，分析車輛或者行人的運動，通過預測軌跡判斷是否存在安全隱患；以及監控人流密度大的區域，通過分析行人的行走路徑判斷是否有可疑人員等等。另外，在單目標跟蹤中，可以通過模板更加快速地得到目標在當前幀的位置，還可以在目標檢測失效的時候發生作用，找到目標的位置。

目前，單目標跟蹤方法分為濾波類方法、檢測與跟蹤相結合的方法、深度學習方法三類。其中濾波類的方法主要是依靠引入了快速傅里葉變換，從而使算法有了很大提升；檢測和跟蹤相結合的方法則是利用了目標檢測的結果于跟蹤結果進行融合；深度學習方法主要是利用卷積神經網絡，通過回歸目標的位置，得到理想的結果。

濾波類的方法起源于信號處理領域，傳統的濾波類方法例如粒子濾波，由于資源開銷大沒有被廣泛使用，但是濾波的思想開始應用在目標跟蹤上。隨著時間的推移，相關濾波開始進入研究者的視線，最早的可用于目標跟蹤的相關濾波算法是MOSSE，后來又在MOSSE的基礎上引入了更多性能更好的算法。其中最先滿足實時性的是CSK算法，通過使用高斯核計算兩幀之間的相關性，得到響應最大的值作為目標在當前幀的中心點。在此基礎之上，又有研究者加入了多顏色通道特征，KCF算法誕生了，KCF算法憑借相對較高的準確度以及較快的速度讓研究者們看到了目標跟蹤算法的希望。最近幾年出現的ECO、UPDT算法等仍然在滿足實時性的同時保持著較高準確度。參考文獻：Bolme,David.Beveridge,J.Drapper,Bruce and Lui Yui.Visual Object Tracking using Adaptive CorrelatioFilters.CVPR,2010。

檢測與跟蹤相結合方法的典范便是TLD，該算法提出之時確實引起了不小轟動，結合了檢測結果的跟蹤效果確實不錯。但同時這種方法也引來了較大爭議，跟蹤本應該是用來彌補檢測的不足，而在跟蹤中引入檢測的結果，有些背離目標跟蹤任務的初衷。參考文獻：Zdenek Kalal,Krystian Mikolajczyk,and Jiri Matas,Tracking-Learning-Detection.IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE,VOL.6,NO.1,JANUARY 2010。

現在主流的目標跟蹤算法除了濾波類方法就是深度學習方法。深度學習近幾年的崛起，讓研究人員看到了它無窮的可能性，目標跟蹤自然也不例外。最近比較火的Siamese系列則是一個很好的例子，端對端的設計可以大大降低使用難度?？上乐胁蛔愕氖?，隨著準確度越來越高，網絡的層數和結構也愈加復雜起來，速度中等。在一些配置不高的環境下難以達到令人滿意的效果。參考文獻：Bo Li，Wei Wu，Qiang Wang，Fangyi Zhang，JunliangXing，Junjie Yan.SiamRPN++:Evolution of Siamese Visual Tracking with Very DeepNetworks.CVPR2019。