[發明專利]具有深度信息的視頻概要

有效

• 申請號: 201110437761.X
• 申請日: 2011-12-23
• 公開（公告）號: CN102495907A
• 公開（公告）日: 2012-06-13
• 發明（設計）人: 胡大鵬;李志前;周曉;麥振文
• 申請（專利權）人: 香港應用科技研究院有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06T7/00
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 張春媛;閻娬斌

技術領域

本發明一般涉及視頻監控中的視頻分析、索引和檢索。具體地，本發明涉及一種分析和概括視頻以幫助期望內容的搜索和識別的方法和系統。

背景技術

對視頻剪切分類以試著定位某些內容或事件是一個乏味且耗時的過程。觀看者必須仔細地查看整個視頻剪切，這些視頻剪切在每一幀中可能包含或者可能不包含感興趣的場景。如果在視頻監控中長期不停地視頻捕獲所查看的場景，這個問題就更加嚴重。此外，在商業和公共安全監控中，其通常包含數以百計的監控視頻攝像機的網絡，這些監控視頻攝像機捕獲多個無限視頻數據流。在整個世界上安裝著數十億的監控視頻攝像機。在中國的南方城市，僅在深圳，據估計就設置了超過一百萬個視頻攝像機。

因此，需要一種方法來概括或壓縮視頻剪切，從而僅僅展示那部分很可能包含期望內容的視頻。一些傳統的視頻概括技術在時間上壓縮活動物體并且將結果顯示在常規的二維運動圖像中。但是這樣壓縮的二維運動圖像會使活動物體聚在一起并對于人類視覺領悟來說會難以消化。其他傳統的視頻概括技術簡單地從源視頻剪切中刪除掉靜態幀，這不能夠獲得最佳的概括效果。

發明內容

本發明的目的在于提供一種通過在時間上壓縮活動物體并將結果顯示在三維場景中的概括視頻的方法。附加的深度維度允許自然人有效地視覺感知到：視差和差異用來幫助活動物體隨著時間定位的視覺領悟。因為視頻概括方法生成隨之產生的帶有三維信息的概要視頻，所以可以創建由虛擬攝像機捕獲的新穎的場景視圖。

本發明的再一目的在于提供一種包括兩個顯示區域的概要視頻：出現的物體列表和場景回顧部分。出現的物體列表通過排除背景信息以使使用者能夠僅僅關注于物體而顯示活動物體剪切塊。場景回顧部分顯示具有物體剪切塊的三維場景視圖。

附圖說明

在下文中，將結合附圖對本發明的實施例進行詳細描述，其中：

圖1示出了概要視頻的一個實施例，該概要視頻包括出現的物體列表和場景回顧部分；

圖2示出了示例性的計算機系統應用用戶界面，該用戶界面將相關分類和排序特征包含到概要視頻；以及

圖3示出了原始視圖和從三維場景的不同的虛擬攝像機觀察點捕獲的新視圖。

具體實施方式

在下面的描述中，以優選實例的形式闡述了具有深度維度的視頻概要的方法和系統實施方式。對于所屬領域技術人員而言，可以在不背離本發明的范圍和精神的情況下進行包括增加和/或減少的修改。可以省略具體細節，以避免模糊本發明；但是，公開的內容應該撰寫到能夠使所屬領域技術人員在不進行過度實驗的情況下就能夠實踐本文的教導。

本發明提供了一種用于概括視頻的計算機可實施方法，其首先識別輸入的原始視頻中的活動物體，接著利用場景的三維信息來合成概要視頻。物體識別可以基于選擇標準，例如物體的形狀和結構、顏色、精確的外觀和空間運動的形式。

參照圖1，通過復制和堆疊包含活動物體圖像的連續輸入的原始視頻幀以及丟棄活動物體周圍的幀圖像像素而進行每個活動物體剪切塊(cutout)122的動畫制作。因此，每個活動物體剪切塊是具有固定時間順序的一組連續視頻幀。這樣，每個制成動畫的活動物體剪切塊的運動順序與其在場景中的空間運動經度、維度及深度位置數據一起被保持下來。然后，將制成動畫的活動物體剪切塊幀組保存在永久的存儲器數據存儲中。利用輸入的原始視頻中的各個場景的結構來構建場景的背景121。缺失部分可以自動估計。還可以由使用者輸入背景。

同樣參照圖1。本發明的計算機可實施視頻概括方法利用動態3D場景來合成輸出的概要視頻，其中動態3D場景既顯示靜態背景121也顯示在時間上混亂且被制成動畫的活動物體剪切塊122。背景和前景物體的深度信息用來創建動態3D場景。然后，通過根據各個活動物體在場景中的經度、維度和深度位置將從永久性存儲數據存儲器提取的制成動畫的活動物體剪切塊的幀組重疊到三維場景上，以呈現動態3D場景。可以通過下面的步驟大致地描述動態3D場景的產生：

1.已知背景場景的深度信息。

2.已知每幀的活動物體的3D位置。

3.將自動估計或使用者輸入的背景圖像結構映射至3D場景的深度。

4.使用者可以選擇每種類型物體的3D代表物。例如，規定的物體或者人類3D模型可以表示人，而規定的物體或者車輛3D模型可以表示車輛。

5.每個物體剪切塊具有指定的3D代表物。

6.對于每個活動物體，可以將物體剪切塊的幀看作要被映射至所選擇的3D物體(如步驟4中所述的物體)的結構，以強加各自外觀。