[發明專利]基于視頻在線學習的跟蹤方法和裝置

有效

• 申請號: 201610931660.0
• 申請日: 2016-10-31
• 公開（公告）號: CN107292918B
• 公開（公告）日: 2020-06-19
• 發明（設計）人: 王好謙;崔宇浩;王興政;張永兵;戴瓊海;陳麗霞
• 申請（專利權）人: 清華大學深圳研究生院;深圳市環球數碼科技有限公司
• 主分類號: G06T7/292
• 分類號: G06T7/292;G06K9/62;G06K9/66
• 代理公司: 深圳新創友知識產權代理有限公司 44223
• 代理人: 江耀純

1.一種基于視頻在線學習的跟蹤方法，其特征在于，該方法包括如下步驟：

A1.經初始化后，將視頻幀送入檢測模塊，由檢測模塊檢測運動目標，產生樣本，生成樣本集；同時，跟蹤模塊并行進行，跟蹤模塊估計運動目標出現的坐標，生成運動軌跡；其中，跟蹤模塊包括MOSSE濾波器；

A2.將樣本集和運動軌跡輸入P-N學習模塊，由P-N學習模塊進行評估和校正，把置信度最高的記為正樣本，其余作為負樣本，生成訓練數據；

A3.P-N學習模塊評估得到當前幀運動目標出現的最可信的一個位置，作為跟蹤的結果進行跟蹤；同時P-N學習模塊利用生成的正負樣本和新坐標，反作用于跟蹤模塊和檢測模塊，更新檢測模塊的樣本集和跟蹤模塊的濾波模型；

其中，P-N學習模塊的處理包括：(1)利用已標記的樣本訓練出一個初始分類器；(2)利用訓練得到的初始分類器，對所有未標記的樣本進行分類，標記為正樣本和負樣本；(3)用P-N experts對那些標記與條件約束相違背的樣本進行重新標記，P-expert識別被誤檢為負樣本的樣本集，N-expert確認出被誤檢為負樣本的樣本集，重新添加到訓練樣本集當中；P-expert利用時間上的結構性，根據跟蹤模塊預測到的運動目標要出現的位置，如果被檢測模塊判斷為負樣本，則把它糾正成樣本集；N-expert利用空間上的結構性，分析檢測模塊和跟蹤模塊在當前幀上給出的所有響應，選擇一個置信度最大的，將其標記為正樣本，其它的標記為負樣本；(4)將重新標記的樣本加入樣本集中，重新訓練分類器；

其中，MOSSE濾波器的濾波模型采用一系列的訓練樣本，多個圖像作為輸入，以輸入圖像的中心為峰值的高斯函數，獲得一系列的訓練輸出，其公式表達為：

其中，F_i表示一系列訓練輸入，G_i表示相應的訓練輸出，H*表示所求濾波模型，即將最優化的問題轉化為最小化平方誤差輸出和的問題；

所述濾波模型的表達式為：

還使用一個更新模型，使所述濾波模型隨著幀數發生變化，適應目標物體的最新外觀。

2.如權利要求1所述的方法，其特征在于，所述步驟A1的所述由檢測模塊檢測運動目標包括如下步驟：

A11.通過前景檢測，得到運動目標的前景圖像塊，在前景圖像塊的區域內用滑窗法產生一系列優化的圖像塊；

A12.對優化的圖像塊提取特征，輸入到隨機蕨分類器中，產生正樣本，經分類生成樣本集。

3.如權利要求2所述的方法，其特征在于，所述步驟A11中所述前景檢測包括幀間差分法。

4.如權利要求3所述的方法，其特征在于，所述幀間差分法為三幀差法。

5.如權利要求2所述的方法，其特征在于，所述步驟A12中所述對優化的圖像塊提取特征包括對優化的圖像塊提取2bit BP的特征。

6.如權利要求1所述的方法，其特征在于，所述更新模型的表達公式為：

H_t＝(1-η)H_t-1+ηH*

其中，H_t表示第t幀中，實際要使用的濾波模型；H_t-1表示第t-1幀中實際使用的濾波模型；H*表示計算求得的第t幀濾波模型；η表示可控的學習率參數。