[發明專利]通過跟蹤行人從視頻序列進行三維道路布局估計

有效

• 申請號: 200580049502.2
• 申請日: 2005-04-18
• 公開（公告）號: CN101167085A
• 公開（公告）日: 2008-04-23
• 發明（設計）人: A·V·博夫林;K·V·羅迪烏什金
• 申請（專利權）人: 英特爾公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 中國專利代理(香港)有限公司
• 代理人: 曾祥夌;王忠忠

技術領域

本發明一般涉及視頻監控，并且更具體地說，涉及在三維(3D)場景中的對象移動分析。

背景技術

視頻監控系統用于為人們和場所提供安全保障。在早期系統中，安全人員連續監視視頻圖像。在長期觀察多個顯示屏時，人們經常感到疲勞，并經常錯過在監視場景的捕捉圖像中發生的關注事件。為此，一些視頻監控系統僅在受監視場景中發生變化時才捕捉圖像。然而，這些系統仍需要安全人員的人工控制和觀察。

最近，已開發出各種自動捕捉和分析圖像的技術。計算機視覺已成為計算機科學研究的一個公認分支。然而，在開發監控系統中自動捕捉和分析圖像的可行應用方面，仍有大量工作需要進行。

附圖說明

從下面的本發明詳細說明中將明白本發明的特性和優點，其中：

圖1是根據本發明一個實施例的處理系統框圖；

圖2是根據本發明一個實施例示出一個對象從地平面投射到相機平面的圖形；

圖3是包括對象高度估計的場景樣本圖像；

圖4是另一場景的樣本圖像；

圖5是對應于圖4場景的樣本道路圖；

圖6是對應于圖4場景的樣本3D道路圖；以及

圖7是根據本發明一個實施例示出對象比例預測和道路圖檢測處理的流程圖。

具體實施方式

本發明的實施例包括用于自動學習由單個未經校準的攝像機觀察的室外場景三維(3D)結構的方法和系統。具體而言，通過在時間上觀察行人并從視頻畫面序列中行人的高度和位置估計道路參數，可形成行人經過的道路和路徑的3D布局估計。真實的室外視頻實驗顯示，對于相機噪聲、場景亮度變化、移動對象檢測中的可能錯誤、道路覆蓋變化和相機抖動，本發明實施例表現魯棒。估計的3D道路圖(達到一個比例因子)可用在需要校準相機與3D場景之間相對位置的計算機視覺應用中，如視頻監控、人的活動識別和人的步態分析。

說明書對本發明“一個實施例”或“實施例”的引用是指結合該實施例描述的特定特性、結構或特征包括在本發明的至少一個實施例中。因此，在說明書通篇各個位置出現的“在一個實施例中”的短語不一定全部指同一實施例。

本發明處理兩個相互關連的問題：所觀察場景上的對象比例預測和道路圖估計。第一個問題是如何估計場景中二維(2D)對象位置與對象比例之間的對應關系。針對此目的，使用對象的運動軌跡，估計將相機平面的相對位置反射到地平面的函數參數。本發明的實施例包括預測場景中對象高度的準確和魯棒過程。

僅在移動對象的軌跡是在道路平面(即，地平面)上時才可準確地預測對象高度。本發明的實施例包括使用與場景中跟預測比例不沖突的移動對象有關的信息進行場景中道路檢測的過程。視頻畫面中對象的近似位置可使用幾種熟知的前景檢測技術之一進行估計(例如，“從包含復雜背景的視頻進行前景對象檢測”(Liyuan?Li，WeiminHuang，Irene?Y.H.Gu和Qi?Tian，“Foreground?Object?Detection?fromVideos?Containing?Complex?Background”，Proceedings?of?the?eleventhAssociation?of?Computing?Machinery(ACM)International?Conference?onMultimedia，MM2003，2003))。本發明實施例的道路圖檢測過程對于估計位置、場景亮度變化(例如，在白天時)、圖像噪聲及道路覆蓋變化(例如，在場景上下雨或下雪后)中出現的誤差表現魯棒。

道路圖檢測過程無人管理，并能夠在相機移動、部分場景變化和其它所觀察環境改變的情況下進行自適應。在本發明作為一部分包括在內的視頻監控應用中，道路圖檢測過程無人管理，使得無需操作人員或用戶控制該過程。如果相機位置改變或者發生其它環境改變(如光照條件的改變)，則道路圖檢測過程能夠通過自動更新3D變換參數而進行自適應。要產生正確的結果，該過程只需遠方場景的由上至下的視圖。該過程基于如下假設：移動對象是從對象(例如，人)大小的已知統計分布繪出，并且場景中的所有道路位于同一平面。這些假設在大多數視頻監控任務中得到滿足，如人的活動識別、人的步態分析、對象地理位置估計以及車輛跟蹤和計數。地平面約束經常包含在現有監控技術中。

本發明的實施例組合了對象比例預測和道路圖檢測，以便產生在單個相機捕捉的場景中道路3D布局的準確、可靠結果。