[發明專利]基于視頻在線學習的跟蹤方法和裝置

有效

• 申請號: 201610931660.0
• 申請日: 2016-10-31
• 公開（公告）號: CN107292918B
• 公開（公告）日: 2020-06-19
• 發明（設計）人: 王好謙;崔宇浩;王興政;張永兵;戴瓊海;陳麗霞
• 申請（專利權）人: 清華大學深圳研究生院;深圳市環球數碼科技有限公司
• 主分類號: G06T7/292
• 分類號: G06T7/292;G06K9/62;G06K9/66
• 代理公司: 深圳新創友知識產權代理有限公司 44223
• 代理人: 江耀純

本發明提供一種基于視頻在線學習的跟蹤方法和裝置，該方法包括步驟：A1.經初始化后，將視頻幀送入檢測模塊，由檢測模塊檢測運動目標，產生樣本，生成樣本集；同時，跟蹤模塊和檢測模塊并行進行，跟蹤模塊估計運動目標出現的坐標，生成運動軌跡；其中，跟蹤模塊包括MOSSE濾波器；A2.將樣本集和運動軌跡輸入P?N學習模塊，由P?N學習模塊進行評估和校正，把置信度最高的記為正樣本，其余作為負樣本，生成訓練數據；A3.P?N學習模塊評估得到當前幀運動目標出現的最可信的一個位置，作為跟蹤的結果進行跟蹤；同時P?N學習模塊利用生成的正負樣本和新坐標，反作用于跟蹤模塊和檢測模塊，更新檢測模塊的樣本集和跟蹤模塊的濾波模型。通過采用MOSSE濾波器，提高了處理速度和運算效率，且減少了光照變化等引發跟蹤失敗的幾率，更具有魯棒性。

技術領域

本發明屬于計算機視覺中的運動目標跟蹤領域，特別涉及一種基于視頻在線學習的跟蹤方法和裝置。

背景技術

運動目標跟蹤是計算機視覺中的核心課題之一，也是非常具有挑戰性的課題。它融合了自動控制、信號處理、神經生物學、圖像處理、模式識別、機器學習及人工智能等眾多先進技術。運動目標跟蹤技術主要集中于對運動物體的連續跟蹤，其具體來說，就是目標提前標明，第一幀已給出的情況下，在接下來的圖像序列中找到目標物體的確切位置進行標記并反饋給系統，以便進行后續對視頻中的行為動作的分析和理解。

目前，處理運動目標跟蹤問題的算法思想有兩種，分別是生成類的算法和判別類的算法。生成類的算法通過搜索和目標最相似的區域來處理跟蹤問題，判別類的方法將跟蹤問題變為二分類問題，其核心就是訓練出一個分類器，把目標物體和背景中區分開。隨著機器學習的快速發展和應用，用判別類的方法處理運動目標跟蹤問題取得了很多突破，得到了更廣泛的采用。在判別類方法中，大多是基于檢測機制的跟蹤算法框架，即使用目標物體和附近的環境訓練出一個在線的分類器，這是當前跟蹤算法的熱點研究趨勢。

TLD(Tracking-Learning-Detection)算法能夠對鎖定的目標進行不斷的學習，以獲取目標最新的外觀特征，從而及時完善跟蹤，以達到最佳的狀態。TLD算法包括三部分：跟蹤器、學習模塊和檢測器；其利用跟蹤器和檢測器同時工作的思想，共同確立跟蹤目標框，并且利用二分類的學習機制反饋給檢測器和跟蹤器，更新分類器得到較高的跟蹤效率。

現有TLD算法中的跟蹤模塊通常使用Lucas-Kanada(LK)光流法，實現遞歸跟蹤，首先，在圖像的目標區域中構造距離相等的點集，通過LK光流法估計這些點的光流，如果這些點為圖像的特征點或角點，則該方法有很高的可靠性；但若圖像區域特征較少，即目標與背景沒有明顯區別則無法很好的實現跟蹤。其次，光流法是基于場景中的亮度是恒定和目標的運動是小而連貫的，現但實際中很少有滿足這種假設的場景與運動，這就意味著當有光照變化、背景干擾、發生遮擋，運動目標突然提速等快速變化時，則很容易導致跟蹤失敗。另外，LK光流法處理過程慢，導致其跟蹤速度慢，無法滿足實時性的要求。

發明內容

為解決上述問題，本發明提供一種能夠適應光暗變化，且能快速準確、實時地跟蹤運動目標的方法及裝置。

本發明提供一種基于視頻在線學習的跟蹤方法，該方法包括如下步驟：A1.經初始化后，將視頻幀送入檢測模塊，由檢測模塊檢測運動目標，產生樣本，生成樣本集；同時，跟蹤模塊和檢測模塊并行進行，跟蹤模塊估計運動目標出現的坐標，生成運動軌跡；其中，跟蹤模塊包括MOSSE(Minimum Output Sum of Squared Error)濾波器；A2.將樣本集和運動軌跡輸入P-N學習模塊，由P-N學習模塊進行評估和校正，把置信度最高的記為正樣本，其余作為負樣本，生成訓練數據；A3.P-N學習模塊評估得到當前幀運動目標出現的最可信的一個位置，作為跟蹤的結果進行跟蹤；同時P-N學習模塊利用生成的正負樣本和新坐標，反作用于跟蹤模塊和檢測模塊，更新檢測模塊的樣本集和跟蹤模塊的濾波模型。