[發明專利]經由密集運動域向底層視頻序列的圖像編輯傳播

在審

• 申請號: 201480031033.0
• 申請日: 2014-05-23
• 公開（公告）號: CN105264604A
• 公開（公告）日: 2016-01-20
• 發明（設計）人: T.E.克里韋利;P.羅伯特;M.弗拉德特;T.維拉德
• 申請（專利權）人: 湯姆遜許可公司
• 主分類號: G11B27/031
• 分類號: G11B27/031;H04N19/537;H04N19/30;H04N21/40;G11B27/10;G06T7/20;H04N19/61
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 呂曉章;鄧亞楠

技術領域

本發明總地涉及視頻編輯的領域。更具體地，本發明涉及一種用于編輯包括多個幀的視頻序列的方法和裝置。

背景技術

本部分意圖向讀者介紹本領域的各種方面，其可以涉及下文描述和/或要求保護的本發明的各種方面。本討論被認為有助于向讀者提供便于更好地理解本發明的各種方面的背景信息。因此，應理解應從該角度閱讀這些陳述，并且不作為現有技術的認可。

已知其中修改單個圖像(照片)的照片編輯應用。若干工具當前對于專業藝術家或對于家庭用戶可用。在可以應用的圖像修改任務的巨大調色板中，我們可以提及：重新著色、染色、模糊、繪畫/繪制、與每區域效果應用相關聯的分割/掩蔽、克隆、圖像修補(inpainting)、紋理插入、標識插入、對象移除等。

隨著現代視頻捕捉、處理和流式系統的出現，由終端用戶捕捉的或來自專業鏡頭(影片、公眾信息、SFX)的大量視頻數據是可用的，并且視頻編輯工具變得更加普及。

首先，在單個圖像的水平上進行推理，人們希望能夠對整個視頻序列執行前面提及的圖像修改任務。然而，在這種照片編輯應用中手動編輯視頻的每一個幀對于操作者是非常耗時和痛苦的。

其次，在視頻(多個圖像)的水平上進行推理，在例如AdobeAfterEffects軟件的多個專業視頻編輯應用中提供了解決方案用于作為整體修改視頻。已知用于從第一幀向隨后的幀傳播信息的方法。例如，與AdobeAfterEffects軟件捆綁的所謂的工具“RotoBrush”有關的文件US2010/0046830A1描述了用于傳播分割掩蔽的方法。其包括通常由用戶提供的初始化，基于從先前分割的幀和原始幀提取的組合顏色模型和運動估計將下一幀自動分割為兩個類(前景/背景)。然而，用于分割的自動時間傳播的這種方法依賴于信息的順序傳播。用戶能夠在繼續傳播到隨后的圖像之前校正自動分割，但是用戶在沒有將處理應用于全部中間幀的情況下，不能校正視頻序列的任何幀和看到傳播到任何其他幀的結果。因此，這種方法不提供對于交互式多幀編輯任務對于序列的若干幀同時顯示結果的顯示界面。在相同領域中，WO2012/088477公開了在整個視頻序列上使用掩蔽自動應用顏色或深度信息。此外，WO2012/088477提供了顯示界面，其中同時顯示一系列順序幀并且準備經由自動掩蔽調整方法的掩蔽傳播到隨后的幀。然而，WO2012/088477并未公開任意修改單個像素。WO2012/088477使用掩蔽傳播處理以確定在整個前景或移動對象掩蔽(或分割)上的何處應用圖像變換或不應用圖像變換。第一幀中的掩蔽被識別為對應于隨后的幀中的相同對象。然而，第一幀的每一個像素根本不能與隨后的幀中的像素匹配，并且這不能從掩蔽傳播處理推導。這使得現有技術不可能通過瞬間傳播應用逐點操作。逐像素圖像編輯工具(畫筆、橡皮擦、繪制、油漆桶……)不能使用在WO2012/088477中使用的掩蔽一般地外推到視頻。

第三，在用于修改3D對象的紋理的視頻編輯方法的領域中提供了解決方案。例如，EP1498850公開了基于簡單的紋理圖像自動呈現(render)3D對象的圖像，通過更新3D模型修改所呈現的圖像和傳播所述修改。然而，該方法不適用于從其中不像在3D合成中的、操作者不能獲取模型的源獲得的視頻圖像。

視頻編輯應用的高度希望的功能是能夠在像素水平上編輯序列的任何圖像并且自動傳播所述改變到序列的剩余圖像。

發明內容

本發明針對用于同時編輯和可視化若干視頻幀，同時將應用于一個圖像的改變傳播到其他圖像的方法。

在第一方面中，本發明針對由處理器執行的用于編輯視頻序列的方法，包括下列步驟：顯示所述視頻序列的母幀；捕捉表示由用戶應用于所述顯示的母幀的幀編輯任務的信息，其中所述幀編輯任務修改與所述顯示的母幀的至少一個像素有關的信息；以及同時顯示所述視頻序列的至少一個子幀，其中所捕捉的信息被時間傳播，其中基于所述母幀和所述至少一個子幀之間的運動域(motionfield)，將表示幀編輯任務的信息傳播到與所顯示的母幀的至少一個像素對應的所述至少一個子幀中的至少一個像素。

根據進一步的有利特征，所述方法包括顯示將所述母幀鏈接到所述至少一個子幀的視覺元素，其中當由用戶輸入禁用所述視覺元素時，禁用所述捕捉的信息向所述至少一個子幀的時間傳播。

根據另一有利特征，所述至少一個子幀包括遠離所述母幀至少一個幀的所述視頻序列的任何幀。

根據另一有利特征，所述捕捉的信息通過從參考類型的運動域從所述母幀時間傳播到所述至少一個子幀。