[發(fā)明專利]一種高性能視覺跟蹤方法及裝置

有效

• 申請?zhí)枺?/td>: 201810857145.1
• 申請日: 2018-07-31
• 公開（公告）號: CN109215057B
• 公開（公告）日: 2021-08-20
• 發(fā)明（設計）人: 葛仕明
• 申請（專利權）人: 中國科學院信息工程研究所
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/262
• 代理公司: 北京君尚知識產(chǎn)權代理有限公司 11200
• 代理人: 余長江

本發(fā)明提供一種高性能視覺跟蹤方法，其步驟包括：根據(jù)視頻的前一幀的物體位置提取該幀的圖像塊，提取該圖像塊的原始多通道特征；根據(jù)視頻的前一幀的物體位置提取當前幀的圖像塊，提取該圖像塊的原始多通道特征；將上述兩幀的原始多通道特征經(jīng)過通道蒸餾模塊，得到壓縮后的多通道特征；對壓縮后的多通道特征進行傅里葉變換，并與跟蹤模型進行點乘操作，再進行傅里葉逆變換，得到響應圖；尋找響應圖上的最大響應位置，得到物體偏離向量，并將物體偏離向量與當前幀所對應的前一幀的物體位置相加，得到當前幀的物體位置；根據(jù)當前幀的物體位置，計算壓縮后的多通道特征，更新跟蹤模型。本發(fā)明還提供一種高性能視覺跟蹤裝置。

技術領域

本發(fā)明屬于計算機視覺和多媒體分析領域，尤其涉及一種針對資源受限條件下的視覺跟蹤方法及裝置。

背景技術

高性能的視覺跟蹤在很多計算機視覺和多媒體分析領域具有重要應用，例如視頻內(nèi)容分析、視頻監(jiān)控、自動導航和人機交互等。當前的視覺跟蹤方案通常采用多通道特征來表示視覺物體，并嵌入到一個優(yōu)化框架中，取得了很好的跟蹤效果。尤其是隨著深度學習技術的發(fā)展，當前最先進的視覺跟蹤器往往采用深度特征作為多通道特征來表示視覺物體，取得了當前最高的跟蹤精度。盡管如此，由于深度學習模型的參數(shù)較大造成模型推理時內(nèi)存占用大、計算復雜度高，使得把這些視覺跟蹤器在資源受限條件下部署十分困難。

為了提升視覺跟蹤器的跟蹤效率以改進部署能力，近年來提出了一些視覺跟蹤方法，根據(jù)特征處理方式不同，這些方法可以分為三類，即學習類跟蹤、加權類跟蹤和壓縮類跟蹤。學習類跟蹤直接從大規(guī)模的數(shù)據(jù)中學習新的模型來進行視覺物體的特征表示(參見：L.Bertinetto,J.Valmadre,J.F.Henriques,and et al..2016.Fully-ConvolutionalSiamese Networks for Object Tracking.In:ECCV Workshop.850-865)，這類跟蹤方法通常需要額外的大規(guī)模訓練，并且最重要的一個要素是將從各種不同視覺物體數(shù)據(jù)中訓練得到的知識能夠進行遷移以實現(xiàn)特定視覺物體的跟蹤；因此，這類方法中沒有解決如何自適應地遷移想要的知識而不是全部知識。加權類跟蹤通過自適應地度量通道的影響對多通道特征進行加權處理提升視覺物體的表達能力或者通道響應進行加權提高跟蹤定位的準確性(參見：A.Lukezi,T.Vojir,L.C.Zajc,and et al..2017.Discriminative CorrelationFilter with Channel and Spatial Reliability.In IEEE CVPR.6309-6318)，通常這類跟蹤方法取得較好的跟蹤精度，但是特征通道的數(shù)量沒有減少仍保持很大。壓縮類跟蹤則是通過降低或壓縮特征的維度來提升跟蹤效能(參見：M.Danelljan,G.Bhat,F.Khan,andM.Felsberg.2017.ECO:Efficient Convolution Operators for Tracking.In IEEE CVPR6638-6646)，這些方法通常降低了模型參數(shù)，但是內(nèi)存的復雜度還是很高。

通常地，多通道特征具有通用的知識，能夠對視覺物體從不同角度進行描述，視覺跟蹤的核心問題是(1)如何自適應地從通用知識中提取正確的知識，以及(2)如何遷移這些知識用于跟蹤特定的視覺物體。

發(fā)明內(nèi)容