[發明專利]一種基于線裁剪的視頻濃縮方法

有效

• 申請號: 201410030131.4
• 申請日: 2014-01-22
• 公開（公告）號: CN103763562B
• 公開（公告）日: 2016-11-16
• 發明（設計）人: 顏波;薛向陽;李可;王偉祎
• 申請（專利權）人: 復旦大學
• 主分類號: H04N19/51
• 分類號: H04N19/51;H04N19/43
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;盛志范

1.一種基于線裁剪的視頻濃縮方法，是基于線裁剪技術的，其特征在于具體步驟如下：

（1）視頻管的提取

首先，使用現有方法從原始視頻中提取視頻管；提取視頻管后，便獲得包括每個物體運動的開始幀、每一幀中物體的邊界與持續時間這些信息；通過這些信息，為每一個物體創建一個視頻掩膜，視頻掩膜的長度為該物體運動的持續時間，而每一個像素的值為：

其中，i為視頻管編號，x,?y為像素的空間坐標，t為幀數，bboxi為該視頻管的邊界框；

（2）視頻管的運動濃縮

首先，對視頻掩膜和視頻管進行轉置，并根據視頻管的光流和梯度信息生成能量圖；然后，基于該能量圖對轉置后的視頻管和視頻掩膜進行同步線裁剪，裁剪后再將其進行反轉置；

（3）物體粘貼

把提取原始視頻的背景和裁剪后的視頻管進行粘貼，從而生成濃縮后的視頻。

2.根據權利要求1所述的基于線裁剪的視頻濃縮方法，其特征在于所述步驟（2）中對轉置后的視頻管和視頻掩膜進行同步線裁剪，其內容包括：

（a）將視頻的三維問題轉化為二維問題，對x-t或y-t平面進行線裁剪；?

（b）以光流作為線裁剪的初始能量值；

（c）對能量圖修正；

（d）設立線裁剪的終止準則；

所述對x-t或y-t平面逐個視頻管進行線裁剪的具體過程為：?

將線裁剪應用到視頻的x-t方向，對視頻的時間域進行修改,不斷地應用線裁剪，便可用較少的圖像變形得到被縮小的圖片；在y-t情況下，這個線裁剪的性質依舊成立；

首先，將線裁剪作用到視頻的x-t方向，Seam?線將切割光流較小的區域；這樣，在時間域上變化較大的像素便會被保留而光流值較小的像素便會被切割；即：在每一個視頻管上應用線裁剪后，較小的運動將會被更多的濃縮，而較大的運動將會被保留；

同樣，將線裁剪作用到視頻的y-t方向；

所述對能量圖修正，是對裁剪后能量圖中的光流值進行修正，即將周邊像素的光流值加上到seam線的位移來完成能量圖的修正；

所述濃縮終止準則如下：?

定義一個值d，d表示每行運動物體時間域上的長度；分別計算每行的d值并對其取平均數，將其定義為D；D值代表運動物體在給定位置上的時間域跨度；當線裁剪進行時，D值將會隨著物體的運動被消減而不斷減小；用戶可設定一個閾值Th，當D值降低到這個閾值Th時便不再進行線裁剪，這樣用戶便可以自定義視頻濃縮的比率；

所述同步線裁剪，是指在物體視頻片斷生成能量圖之后，同時對兩個視頻片斷進行裁線剪，稱之為同步過程；在物體視頻中刪去一條seam線時，相同位置的像素也應該在視頻掩膜中被刪除；所述兩個視頻片斷是指與運動物體有關兩個視頻片斷：一個是在上述過程中使用的視頻管，另一個即所創建的視頻掩膜。