[發明專利]用于處理視頻文件的方法和裝置

有效

• 申請號: 201410139040.4
• 申請日: 2014-04-04
• 公開（公告）號: CN104978750B
• 公開（公告）日: 2018-02-06
• 發明（設計）人: 汪孔橋;李江偉
• 申請（專利權）人: 諾基亞技術有限公司
• 主分類號: G06T7/207
• 分類號: G06T7/207
• 代理公司: 北京市金杜律師事務所11256
• 代理人: 酆迅,陳穎

技術領域

本發明的實施方式涉及視頻文件處理領域，更具體地，涉及一種用于處理視頻文件的方法和裝置。

背景技術

隨著計算機技術，尤其是視頻技術的不斷發展，對視頻文件的分割處理成為研究的熱點之一。例如，經常存在需要從視頻文件中剝離出背景畫面的需求。

視頻分割是用于視頻處理的關鍵技術。其目標是從背景中分割出運動對象。存在兩類常見的分割方法。第一類方法是通過例如運動估計(Motion Estimation，ME)之類的技術從背景中直接估計并分割出運動對象。這類方法一般對背景的運動沒有限制。這樣，總是存在對于從背景分割的運動的對象的分割準確性問題。即使通過交互式機制來手動地對運動對象的邊緣進行精細調整，直至獲得可接受的結果，其準確性依然無法完全得到保證，而且需要耗費大量人工勞動，效率很低。

另一類分割方法是跨視頻幀來重構整個背景，通過比較重構的背景與每個視頻幀來分割運動對象。常用方法是通過對每個像素在視頻時間軸上進行統計學習建模，得到重構的視頻背景。方法要求背景中像素在不同視頻幀的位置基本不發生變化，對背景的運動有嚴格限制，理想的情況是具有靜止的背景。這就要求用戶在攝制視頻時，手不能晃動，這在實踐中相當困難。

發明內容

為了解決現有技術中存在的上述問題，本說明書提出如下方案。

根據本發明第一方面，提供一種用于處理視頻文件的方法，所述視頻文件包括多個視頻幀，所述方法包括：確定所述多個視頻幀中每一視頻幀相對于前一視頻幀的相對運動矢量；基于所述相對運動矢量，在空間上對齊所述多個視頻幀，以確定同一空間點在所述多個視頻幀的每個視頻幀上對應的像素點；將對應于所述每個空間點的所有像素點進行聚類，以獲得對應于所述每個空間點的與背景有關的像素點；以及基于獲得的對應于所述每個空間點的與背景有關的像素點，創建與所述視頻文件的背景有關的畫面。

在本發明的可選實現中，所述確定所述多個視頻幀中每一視頻幀相對于前一視頻幀的相對運動矢量進一步包括：將所述每一視頻幀劃分成多個視頻塊；計算所述多個視頻塊中每個視頻塊相對于所述前一視頻幀中的對應視頻塊的相對運動矢量；基于所述每個視頻塊的所述相對運動矢量，對所述每一視頻幀中的所述多個視頻塊進行聚類，以確定所述每一視頻幀中與所述背景有關的多個視頻塊；以及基于所述每一幀中與所述背景有關的所述多個視頻塊中的每個視頻塊的相對運動矢量，確定所述每一幀相對于前一視頻幀的相對運動矢量。

在本發明的可選實現中，所述方法進一步包括：將所述畫面以及所述多個視頻幀中的每個視頻幀劃分成數目相同的多個塊；以及針對所述畫面中的每一個塊：在所述多個視頻幀的每個視頻幀中設置一候選塊選擇窗口，所述候選塊選擇窗口至少覆蓋與所述一個塊在空間位置上對應的塊、在針對所述一個塊的多個所述選擇窗口中選取與所述一個塊大小相同且內容最為接近的一個區域，作為用于替換所述一個塊的候選塊、以及基于確定的所述候選決進行替換。

在本發明的可選實現中，所述基于確定的所述候選決進行替換進一步包括：從確定的所述候選塊所在的視頻幀中獲得覆蓋且超過所述候選塊一預定面積的區域作為相應的替換塊；以及將所述畫面中的每個塊用相應的所述替換塊進行替換，其中，相鄰兩個替換塊的重疊部分基于其中各個像素的色彩權值進行呈現。

在本發明的可選實現中，所述基于所述每一幀中與所述背景有關的所述多個視頻塊中的每個視頻決的相對運動矢量，確定所述每一幀相對于前一視頻幀的相對運動矢量包括：將所述每一幀中與所述背景有關的所述多個視頻塊中的每個視頻塊的相對運動矢量的平均值作為所述每一幀相對于前一視頻幀的相對運動矢量。

在本發明的可選實現中，對對應于所述每個空間點的所有像素點的聚類基于所述像素點在RGB色彩空間中的空間密度分布而進行。

在本發明的可選實現中，將對應于所述每個空間點的所有像素點進行聚類，以獲得對應于所述每個空間點的與背景有關的像素點進一步包括：在針對所述每個空間點的所述聚類的結果中，將屬于最大類的多個像素點作為對應于所述每個空間點的與所述背景有關的像素點。

在本發明的可選實現中，所述基于所述每個視頻塊的所述相對運動矢量，對所述每一視頻幀中的所述多個視頻塊進行聚類，以確定所述每一視頻幀中與所述背景有關的多個視頻塊進一步包括：將經聚類后，屬于最大類、且空間位置相鄰的多個視頻塊確定為與所述背景有關的多個視頻塊。

在本發明的可選實現中，所述相對運動矢量包括水平方向運動矢量和垂直方向運動矢量。