[發(fā)明專利]使用軌跡分段分析的雙向跟蹤

有效

• 申請?zhí)枺?/td>: 200680037803.8
• 申請日: 2006-10-13
• 公開（公告）號: CN101283376A
• 公開（公告）日: 2008-10-08
• 發(fā)明（設(shè)計）人: J·孫;W·張;X·唐;H－Y·沈
• 申請（專利權(quán)）人: 微軟公司
• 主分類號: G06T7/20
• 分類號: G06T7/20
• 代理公司: 上海專利商標(biāo)事務(wù)所有限公司
• 代理人: 張政權(quán)

背景

對指定對象(即目標(biāo)對象)的視覺跟蹤是具有許多有用的應(yīng)用的計算機視覺的領(lǐng)域。例如，可以在視頻監(jiān)控、人機界面、數(shù)字視頻編輯等中使用視覺跟蹤。一般地，視覺跟蹤在給定觀察(諸如視頻序列)期間跟蹤目標(biāo)對象。不幸的是，視覺跟蹤技術(shù)在幾種情況下難以跟蹤目標(biāo)對象。

例如，一種情況是當(dāng)目標(biāo)對象經(jīng)歷突然移動時，諸如來自目標(biāo)對象自身的意外動態(tài)改變或來自照相機的突然移動，視覺跟蹤技術(shù)將難以跟蹤目標(biāo)對象。另一種情況是當(dāng)類似樣子的對象接近目標(biāo)對象時，視覺跟蹤技術(shù)將有困難。在這種情況下，跟蹤技術(shù)難以區(qū)分兩個對象中哪個是目標(biāo)對象。當(dāng)遮擋發(fā)生且目標(biāo)對象部分或完全被另一對象遮掩時，視覺跟蹤也是有困難的。

總體而言，大多數(shù)跟蹤技術(shù)基于直至?xí)r間t的觀察使用遞歸估計來估計目標(biāo)對象在當(dāng)前時間t的位置。在貝葉斯構(gòu)架中，跟蹤問題通常被公式化為給定所有觀察y_1:t情況下，狀態(tài)x_t的時間演化后驗分布的遞歸估計，這樣使得：

P(xt+1|y1:t+1)~P(yt+1|xt+1)∫dxtP(xt+1|xt)P(xt|y1:t).---(1)]]>遞歸估計有兩個主要的優(yōu)勢：1)高效的計算；以及2)自然符合實時或在線跟蹤應(yīng)用。

然而，許多真實世界的應(yīng)用適合離線跟蹤的類別，諸如視頻監(jiān)控中的事件統(tǒng)計、基于對象的視頻壓縮、家庭視頻編輯、視頻評注、視覺動作捕捉等。因此，也將遞歸方式應(yīng)用于離線視覺跟蹤。當(dāng)完成這個時，一般首先通過指定一個或多個關(guān)鍵幀將長輸入視頻序列分解成短序列。指定的關(guān)鍵幀可以是視頻序列中的任何幀。每個關(guān)鍵幀包含指定要跟蹤的對象(即目標(biāo)對象)的對象模板。使用這些經(jīng)分解的短序列的視覺跟蹤通常被稱為基于關(guān)鍵幀的跟蹤。遞歸方式于是以前向或后向中應(yīng)用到每個短序列。然而，該方法通常在序列中間某處失敗。當(dāng)這種情況發(fā)生時，就在失敗的位置添加另一關(guān)鍵幀。

雖然添加新的關(guān)鍵幀改進了視覺跟蹤的結(jié)果，但是使用試湊法方式添加新的關(guān)鍵幀是極端耗時的。因此，持續(xù)需要改善用于離線應(yīng)用的跟蹤技術(shù)。

概述

本視頻跟蹤技術(shù)基于從整體狀態(tài)序列的開始和結(jié)束關(guān)鍵幀獲取的兩個對象模板輸出目標(biāo)對象的最大后驗(MAP)解答。該技術(shù)首先通過在序列的每個幀中生成本地二維模式的稀疏集來最小化序列的整體狀態(tài)空間。二維模式被轉(zhuǎn)換成三維體中的三維點。使用譜聚技術(shù)來群集三維點，其中每個群集對應(yīng)于目標(biāo)對象的可能的軌跡分段。如果在序列中有遮擋，那么就生成遮擋分段，這樣可以獲得目標(biāo)對象的最佳軌跡。