[發明專利]視頻對象級時域編輯方法及系統

有效

• 申請號: 201110280567.5
• 申請日: 2011-09-20
• 公開（公告）號: CN102339625A
• 公開（公告）日: 2012-02-01
• 發明（設計）人: 張松海;盧少平;胡事民;魏瑨
• 申請（專利權）人: 清華大學
• 主分類號: G11B27/031
• 分類號: G11B27/031
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩

技術領域

本發明涉及視頻處理技術領域，特別涉及一種視頻對象級時域編輯方法及系統。

背景技術

作為影視制作中不可或缺的手段，視頻編輯技術可以使影視制作產生一些具有娛樂性和夢幻性的視頻場景，使完美特效出現在影視作品。影視制作后期中在時間軸上的視頻編輯是產生特效的重要策略之一。快速運動能完美地表現時光流逝之感。云卷云舒、車水馬龍，這些場景在電影當中通常用數倍于常速的方式來播放。慢速運動則能增強緊張或者戲劇性的視頻場景。例如，影視作品里常常在某些危急場景中使用極慢的方式來播放。

目前時間軸上的視頻編輯通常只是應用于整個視頻幀的操作，即在某個場景中所有視頻對象都是經歷相同的時間快/慢變化編輯，如Peker等人于2001年提出的“Constant?Pace?Skimming?and?Temporal?Sub-sampling?of?Video?using?Motion?Activity”和Bennett等人于2007年提出的“Computational?Time-lapse?Video”。這些方法針對每一幀，在時間軸上采取一定的重采樣方法抽取出一些圖像，然后將這些圖像以正常速度播放，從而達到整幀內容的時域快/慢編輯。

相對于整幀圖像做快/慢變化編輯，允許單個視頻運動對象在時間軸上的變化將能使導演提供更大的自由來實現更多的藝術表現。基于單個視頻運動對象在時間軸上的編輯通常需要以下步驟：視頻對象的標注與精細分割、時域操作和還原回到背景圖像中以合成最終視頻。視頻對象的半自動標注技術較為高效，如Bradski等人于1998年提出的均值漂移標注“Computer?Vision?Face?Tracking?for?Use?in?a?Perceptual?User?Interface”和Goldman等人于2008年提出的粒子濾波方法“Video?Object?Annotation，Navigation?and?Composition”。半自動標注技術為本視頻對象級時域編輯方法提供了較好的技術基礎。

如果視頻對象之間在時空上原已有相交或重疊，而編輯之后也可能會產生新的相交或重疊，因此需要對視頻對象做精細地分割與摳取。近年來精細摳取視頻對象的方法層出不窮。Li等人于2005年提出三維圖模型“Video?Object?Cut?and?Paste”；Wang等人于2005年提出交互式的均值漂移分割“Interactive?Video?Cutout”；Bai等人于2009年提出局部分類模型方法“Video?Snapcut：Robust?Video?Object?Cutout?Using?Localized?Classifiers”。即使有上述技術進步，視頻對象的精細分割與摳取到目前為止仍然是一項極其繁瑣的工作，即使是訓練有素的視頻制作人員，也需要大量的手工交互工作來完成。Schodl等人于2002年的“Editing?Object?Behaviour?in?Video?Sequences”工作使用藍屏背景來拍攝運動物體并抽取其時空信息，但這并不能廣泛使用于常用視頻中。此外，有一些方法試圖使用視頻尺度伸縮技術來實現時域編輯。該類方法通常在視頻三維中以類似于“抽線”的方式來改變運動物體的顯示時間，如Chen于2008年提出的“Video?Carving”，Li于2009年提出的“Video?Condensation?by?Ribbon?Carving”，Slot于2009年的“Content-aware?Video?Editing?in?the?Temporal?Domain”，但這些方法受限于抽線的較小自由度，且不能高效的產生各種編輯效果。

發明內容

(一)要解決的技術問題

本發明要解決的技術問題是：如何避免使用精細分割方式，就能達到實現視頻對象的標注和獲得。

(二)技術方案

為解決上述技術問題，本發明提供了一種視頻對象級時域編輯方法，包括以下步驟：

S1：提取視頻中每一幀的靜態背景圖像；

S2：用視頻中每一幀的圖像減去對應的靜態背景圖像，以獲得視頻對象；

S3：調整所述視頻對象的起始播放時間，設置所述視頻對象的重采樣方式；

S4：選擇所述視頻對象的起始播放時間和重采樣方式，根據選擇結果對所述視頻對象在時域上重排；

S5：將所述重排后的視頻對象的每一幀圖像與對應的靜態背景圖像合成，從而得到視頻編輯結果。

優選地，步驟S1之前包括以下步驟：

S0：對視頻進行預處理，以實現視頻內容穩定。