[發明專利]一種基于線裁剪的視頻濃縮方法

有效

• 申請號: 201410030131.4
• 申請日: 2014-01-22
• 公開（公告）號: CN103763562B
• 公開（公告）日: 2016-11-16
• 發明（設計）人: 顏波;薛向陽;李可;王偉祎
• 申請（專利權）人: 復旦大學
• 主分類號: H04N19/51
• 分類號: H04N19/51;H04N19/43
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;盛志范

技術領域

本發明屬于視頻濃縮技術領域，具體涉及一種視頻濃縮方法。

背景技術

自從上個世紀，數以千萬計的監控攝像頭被部署在了例如火車站、飛機場等交通樞紐處以及各種交通路口，并在不斷產生著大量的監控視頻。在數字化的時代，監控視頻的數量更是爆發性地增長。在城市的大街上，每個攝像頭都在24小時全天候的進行著錄像，很多監控視頻根本從未被觀看過。視頻的冗長也給回溯帶來了很大的困難。由于監控攝像頭越來越便宜、越來越容易部署，監控網絡不斷地變得密集，使得人員監控的難度不斷上升，需求的存儲空間也不斷增大。因此對解決監控產生的各種不便而誕生的各種算法引發了各界的極大興趣并已成為當今多媒體信息處理領域的一項研究熱點。

視頻濃縮是對視頻進行時間上的壓縮，在較短的時間中對盡可能對原視頻中的細節進行描述，去除視頻時間域上的冗余信息。視頻濃縮技術令監控視頻擁有更大的信息量，它賦予了用戶快速瀏覽無盡的監控視頻的能力，加入視頻檢索技術后，更能對用戶關于某個物體在原視頻中出現的時間等問題進行應答。這時的濃縮視頻更充當了原監控視頻索引的角色。

該技術相對傳統的視頻監控技術擁有強大的優勢：

（1）存儲空間：由于是監控視頻，攝像頭必須全時間進行監控，導致了每分每秒都會有無窮的監控視頻的產生，給存儲帶來了巨大的壓力。通過視頻濃縮技術，我們可以在編碼方式等其他因素相同的情況同時將原視頻的尺寸大小地縮小，從而節省了大量的存儲空間。

（2）快速瀏覽：在傳統方法中對監控視頻的回放瀏覽是一件讓人頭疼的事情，快放可能會損失重要信息，而等待漫無止境的監控視頻播放也令人厭惡，通過視頻濃縮后，大量冗余信息被去除，保證了每一分每一秒都是重要信息，從而使得回放效率大幅度提高，也降低了通過監控視頻回溯重要信息的難度。

現在大致有這幾種算法來解決這個問題：

（1）快進，以固定比率將幀直接跳過來達到濃縮的目的。

（2）關鍵幀提取。

（3）蒙太奇，將相關視頻片斷進行排列來縮短視視頻長度。?

以上幾種算法各自有不同的優缺點，其中第一個與第二個算法對視頻中物體的動態無法較好的保存，而第三種方法也存在著瓶頸，而本發明提出的方法可以在大幅度縮短視頻長度的同時保持運動物體的運動。

發明內容

本發明的目的在于提供一種可以在大幅度縮短視頻長度的同時保持運動物體運動狀況的視頻濃縮方法，以便有效地完成對視頻的處理，為各項應用提供方便。

本發明提出視頻濃縮方法，是基于線裁剪(seam?carving)技術的，如圖1所示，具體步驟如下：

（1）視頻管(video?tube)的提取?

首先是使用現有的各種方法（比如[1,2]）從原始視頻中，提取視頻管(video?tube)，生成視頻掩膜(video?mask)。在提取tube后，便獲得了包括每個物體運動的開始幀、每一幀中物體的邊界與持續時間等重要信息。通過這些信息，為每一個物體創建一個視頻掩膜(video?mask)。視頻掩膜的長度為該物體運動的持續時間，而每一個像素的值為：

其中i為tube編號，x,?y為像素的空間坐標，t為幀數，bbox為該tube的邊界框。

（2）視頻管的運動濃縮

首先，對視頻掩膜和視頻管進行轉置，并根據視頻管的光流和梯度等信息生成能量圖。然后，基于該能量圖對轉置后的視頻管和視頻掩膜進行同步線裁剪，裁剪后再將其進行反轉置。

（3）物體粘貼

最后一步是：把提取原視頻的背景和裁剪后的視頻管進行粘貼，從而生成濃縮后的視頻。粘貼的具體方法可以參考文獻[3]。

本發明第二步驟（2），具體來講：為了使濃縮后的視頻更短，需要將每一個物體的運動進一步進行濃縮。通過濃縮，可以減少運動不顯著的區域，而更多地保留運動顯著的區域。例如，可以將慢速的運動進行濃縮而對快速的運動進行保留。根據邊界框與tube所提供的信息，可以為每一個tube從原視頻中提取出一個對應的視頻片斷，這個片斷中僅包括該物體。本發明基于線裁剪（seam?caving）可實現對于每個tube的初步濃縮。其內容包括：

（a）將視頻的三維問題轉化為二維問題，對x-t（或y-t）平面逐個tube進行seam?caving；?

（b）以光流作為seam?caving的初始能量值；

（c）對能量圖修正；

（d）設立線裁剪的終止準則。