[發明專利]基于聯合預測-檢測-修正框架的長期目標跟蹤算法

在審

• 申請號: 202010052387.0
• 申請日: 2020-01-17
• 公開（公告）號: CN111291630A
• 公開（公告）日: 2020-06-16
• 發明（設計）人: 唐晨;邱岳
• 申請（專利權）人: 天津大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉國威

本發明屬于計算機視覺領域，為提出一種聯合預測?檢測?修正跟蹤的視覺目標跟蹤框架，實現視覺目標跟蹤，本發明采取的技術方案是，基于聯合預測?檢測?修正框架的長期目標跟蹤算法，通過預測器模塊預測目標運動趨勢和尺度變化，利用檢測器模塊結合預測參數進行有效的目標位置估計和目標尺度估計，通過修正器模塊結合精化機制進行目標位置的修正，從而實現精確的目標跟蹤。本發明主要應用于行人監控、動態手勢識別、人機交互等場合。

技術領域

本發明屬于計算機視覺領域，涉及一種基于聯合預測-檢測-修正框架的長期目標跟蹤算法。

背景技術

作為視覺信息分析的基礎技術之一，視覺目標跟蹤算法研究一直以來都是計算機視覺領域研究的熱門方向。目標跟蹤研究主要是通過在計算機中模擬人類對視覺目標的感官認識，賦予計算機穩定地跟蹤特定目標的能力，從而為后續其他的應用，例如行人監控、動態手勢識別、人機交互等，提供重要的技術基礎。在計算機視覺領域，目標跟蹤研究一般指的是通用單目標跟蹤算法研究，這也是本文的主要研究內容。所謂的通用單目標跟蹤(Visual Object Tracking)，是指在視頻第一幀(初始化階段)通過鼠標或者真實數據標簽確定任意目標所在區域，然后由跟蹤算法對該目標進行在線的分析，確定目標在后續每一幀中的區域，從而實現任意單目標在線跟蹤的目的。這里目標區域的確定，一般是包圍目標的矩形框，用于估計目標在視頻中每一幀的位置、尺度、旋轉角度等信息，并輸出對應的信息顯示目標在每一幀的實際狀態。這種任意選定目標的跟蹤方式，使得算法能獲取的先驗知識得到限制(因為無法預知特定的目標，因此無法提前進行離線訓練)，對目標跟蹤算法的綜合學習能力提出了更高的要求，也增大了目標跟蹤研究的難度。

目標跟蹤算法具有廣泛的應用，比如：在動態手勢識別中，目標跟蹤算法可以用來跟蹤手型，提供目標運動特征用于分類；在手指書寫系統中，目標跟蹤算法可以用來跟蹤手指，獲取指尖運動軌跡用于字符和簽名識別；在行人監控中，目標跟蹤算法可以用來跟蹤某個可以人物，也可以擴展為多個單目標跟蹤算法的并行應用，實現多行人目標的跟蹤；在智能交通系統中，目標跟蹤算法可以進行車輛跟蹤、車輛引導、車流量分析等等。因此，視覺目標跟蹤算法的研究具有重要的理論意義和實際意義。

當前視覺目標跟蹤研究依然存在不少的技術難點沒有得到很好的解決，導致跟蹤器的整體性能達不到理想要求，難以在現實場景中有效應用。技術難點主要有以下三個方面：

(1)目標跟蹤精度和跟蹤速度的雙向平衡和提高問題。在研究如何提高目標跟蹤精度的同時，需要考慮如何保持跟蹤速度。實現精度高且實時性好的目標跟蹤，有利于提高目標跟蹤的整體性能，同時有利于目標跟蹤算法在實際系統中的應用。

(2)穩定性-可塑性困境。為了實現跟蹤的穩定性，需要保持目標模型對歷史跟蹤結果的記憶；而為了實現跟蹤的可塑性，需要及時更新目標模型學習新的變化。就造成了跟蹤過程的穩定性和可塑性困境。有必要完整地重構目標模型，提高目標模型的自適應性，以應對跟蹤過程中可能出現的各種變化。

(3)長期穩定跟蹤難題。目標跟蹤屬于沒有先驗知識的在線目標和背景區分問題，無法預先離線訓練跟蹤器，使其學習到目標有效的特征表示，以應對長期跟蹤過程中的目標丟失和消失復現問題。但在實際跟蹤過程中，目標可能被其他物體完全遮擋或消失后重新出現，現有的目標跟蹤方法大部分無法應對這種情況。

發明內容

為克服現有技術的不足，本發明旨在提出一種聯合預測-檢測-修正跟蹤的視覺目標跟蹤框架，實現視覺目標跟蹤，本發明采取的技術方案是，基于聯合預測-檢測-修正框架的長期目標跟蹤算法，通過預測器模塊預測目標運動趨勢和尺度變化，利用檢測器模塊結合預測參數進行有效的目標位置估計和目標尺度估計，通過修正器模塊結合精化機制進行目標位置的修正，從而實現精確的目標跟蹤。

具體步驟細化如下：

步驟1：輸入第t幀視頻圖像；