[發明專利]利用自適應濾波的數字圖像穩定化方法

有效

• 申請號: 201110439171.0
• 申請日: 2011-12-23
• 公開（公告）號: CN102572278A
• 公開（公告）日: 2012-07-11
• 發明（設計）人: E.S.K.劉
• 申請（專利權）人: 三星電子株式會社
• 主分類號: H04N5/232
• 分類號: H04N5/232;H04N5/14
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 張泓

相關申請的交叉引用

本申請要求2010年12月23日向美國專利與商標局提交的兩件美國臨時申請No.61/426,970和No.61/426,975的優先權。在這里通過引用并入這兩件臨時申請的公開內容。

技術領域

本發明構思涉及數字圖像穩定化(Digital?Image?Stabilization，DIS)，并且更具體地涉及一種降低所捕獲的視頻幀中補償窗口的過偏移(over-excursion)的方法。

背景技術

在操作人員的手中操作數字相機、數字攝像機、以及具有這樣的相機或攝像機的手持設備的同時，經常采用該相機或攝像機來捕獲圖像或視頻。因此，在捕獲圖像或視頻的同時，攝像機可能在操作員手中晃動或抖動。抖動可能由于手晃動或平臺振動，并且可能包括水平分量、垂直分量、縮放分量和旋轉分量。抖動可能使得手捕獲的視頻對于觀看者而言是嘈雜的或混亂的，因此希望使用數字電路來數字地估計相機軌跡(即，當在每對連續幀之間檢測時的抖動)并且從相同場景的視頻幀序列中濾除抖動。

由穩定的(固定的或移動的)攝像機產生的視頻主要包含所捕獲的視頻中的平滑運動(平移、旋轉)。另一方面，不穩定的攝像機產生在視頻圖像中具有高頻抖動(平移和/或旋轉)的視頻。由穩定的(固定的或移動的)攝像機產生的視頻主要包含所捕獲的視頻中的平滑運動。另一方面，不穩定的攝像機產生在視頻圖像中具有高頻抖動(平移和/或旋轉)的視頻。

數字圖像穩定化(DIS)系統首先估計不希望(不想要)的運動，并且然后對圖像序列施加校正。對于任何視頻穩定化算法而言，正確的全局運動估計(相機軌跡估計)是關鍵的。穩定化視頻的視覺效果高度依賴于相機軌跡估計的質量。對相機/場景的全局運動進行分析，以便區分想要的(例如，搖攝)和不想要的(抖動)全局運動，并且生成補償變換P(n)以便補償不想要的抖動運動。視頻穩定化算法減輕抖動運動，同時保持用戶想要的相機運動。通常，抖動是由手晃動和平臺振動引起的，所述手晃動和平臺振動將是更快的(即，更高頻)和非線性的，而相機運動將是更慢的并且是線性的或單調的。全局運動(相機軌跡)向量被包括在補償變換P(n)的仿射變換參數中，所述補償變換P(n)的仿射變換參數是使用匹配的特定點對在相鄰幀之間估計的。

補償變換P(n)可以是仿射變換。在數學上，仿射幾何是對于通過仿射變換(即，非奇異線性變換和平移)保持不變換的幾何屬性的研究。已經開發了由數字系數(被稱為仿射矩陣)定義的數學方程組，以便特征化在每對連續幀或其部分(例如，幀中的運動對象)之間檢測到的橫向的(上/下)、旋轉的和縮放的(例如，放大或縮小)運動。因此，用于補償相機抖動的補償變換P(n)可以被特征化為與場景中任何實際上固定的對象(例如，石頭、桌子、停放的車輛、山或太陽)相關的第一仿射變換矩陣。在幾乎所有情況下，手晃動和平臺振動可能導致視頻幀的平移、旋轉和縮放。為了對這些進行建模，需要六參數仿射變換。

即使正確地生成了補償變換P(n)以便補償不想要的抖動運動，作為結果的補償幀相對于所捕獲的輸入視頻幀仍可能具有顯著振蕩移動，并且可能延伸超出了在所捕獲的輸入視頻幀中的一些視頻幀中可用的圖像數據。這導致補償窗口的過偏移。

為了移除視頻中的急跳式運動，補償單元裁剪每個輸入視頻幀的一些邊界區域。所移除的邊界區域的量可以被量化為裁剪率。大的裁剪率意味著邊界處的更多區域被移除。可以將輸出視頻幀建模為疊加在輸入視頻幀上的補償窗口(參見例如圖1)。補償窗口可以相對于輸入視頻幀被旋轉、偏移、縮放等。

對于給定裁剪率，補償窗口的移動量被稱為補償窗口偏移。補償窗口超出輸入視頻幀邊界的移動被稱為補償窗口過偏移。

如果沒有抖動(無不想要的相機軌跡)，則(基于實際上固定的對象的特征點的)補償變換P(n)將被期望在兩個或多個連續幀的每個幀中處于相同位置(例如，一致(UNITY))。如果存在高頻抖動，則期望產生具有降低程度或降低頻率的補償窗口過偏移的空間上穩定化的視頻。

因此，需要一種濾波方法，其自適應地在不足視頻穩定化和過偏移之間進行平衡。

發明內容

本發明構思的一方面提供了一種數字圖像穩定化方法，包括：基于補償窗口過偏移的歷史，自適應地對表示視頻幀的場景中的固定/背景對象的基本/補償變換P(n)濾波。