[發明專利]實時電子穩像中基于運動狀態識別的運動補償方法

無效

• 申請號: 200910081057.8
• 申請日: 2009-04-01
• 公開（公告）號: CN101511024A
• 公開（公告）日: 2009-08-19
• 發明（設計）人: 趙丹培;馮昊;姜志國;安萌
• 申請（專利權）人: 北京航空航天大學
• 主分類號: H04N7/26
• 分類號: H04N7/26;G06T7/20
• 代理公司: 北京慧泉知識產權代理有限公司
• 代理人: 王順榮;唐愛華

(一)技術領域

本發明屬于圖像處理技術的應用領域，涉及視頻圖像實時電子穩像中的一種運動補償方法。該方法通過幀間運動估計和運動補償能夠消除視頻圖像序列中因拍攝載體的不規則運動給圖像造成的影響，實時輸出穩定的視頻圖像，以此提高視頻設備的圖像質量和系統后續處理的準確性。

(二)技術背景

隨著光學成像設備在交通、醫療、精確制導、軍事偵察和航天領域等的廣泛應用，對成像質量的要求越來越高。通過手持攝像設備、車載攝像系統、飛機、導彈以及衛星等攝影平臺所采集到的視頻圖像信號不僅包含攝像機載體的平穩運動，還包含了很多隨機運動，如低頻抖動、高頻振動以及不規則的晃動、攝動等，涉及的運動類型主要有旋轉、平移和尺度等。由于這種隨機運動的存在，造成了拍攝視頻的不穩定，嚴重影響視覺效果，不利于觀察和監視，容易造成操作者的視覺疲勞甚至情緒變化，同時也不利于后續處理。

為避免上述不規則的隨機運動對光學設備成像質量的影響，就需要判斷出拍攝載體本身的平穩運動和隨機抖動，利用圖像處理的方法消除隨機抖動，只保留攝像機本身的平穩運動，使輸出的圖像序列清晰穩定，這就是電子穩像技術。這種穩像方法具有成本低、效果好和應用靈活等特點，已獲得廣泛關注，在國內外都有較快發展。

電子穩像技術包含兩項關鍵技術：(1)、幀間運動估計方法。通過估計相鄰幀或多幀圖像之間的運動參數來描述攝像機的平穩運動軌跡，這些運動關系包括平移、旋轉或者尺度變換等；(2)、運動補償方法。這一部分主要用于分析運動軌跡中的平穩運動成分和隨機抖動成分，在保留平穩運動成分的同時剔除隨機抖動。

其中運動補償是電子穩像中涉及到的一個關鍵技術。通過運動補償處理可以保留全局運動矢量中攝像機的平穩運動量，同時去除運動軌跡中的不穩定運動量，并確定輸出圖像在視場中的位置。攝像機拍攝的視頻可分為兩大類：(1)、凝視拍攝，即攝像機拍攝的畫面始終保持對同一場景的拍攝，視頻的幀間運動都是需要去除的不規則抖動；(2)、掃描拍攝，即攝像機隨載體做無規則自由運動，視頻幀間運動既包含攝像機隨載體的平穩運動，也包括攝像機的隨機抖動。通常情況下拍攝的視頻可近似認為是這兩類拍攝方式的組合以及它們之間的過渡。最簡單的方法是以某一幀作為參考幀，將后續的各幀直接與參考幀配準，該方法的優點是能夠獲得十分穩定的視頻，適用于凝視拍攝方式，但該方法無法適用于掃描拍攝，并且容易受到積累誤差和噪聲的影響。為了處理掃描拍攝的視頻，通常采用濾波的方法對運動軌跡進行平滑，但該方法無法并不能很好的處理凝視和掃描混合拍攝的視頻，一方面，較小的濾波器帶寬雖能適應運動形式變化，但尖銳的噪聲會嚴重破壞穩像效果，導致連續幾幀的圖像不穩定或跳動現象，稱為“欠平滑”；另一方面，過度的平滑雖然可在一定程度上避免尖銳噪聲的影響，卻可將平穩運動作為噪聲大幅抑制，出現視頻滯后現象，稱為“過平滑”。因此單純采用一種運動補償方法往往很難獲得滿意的效果，此外，現有方法都沒有考慮到掃描拍攝和凝視拍攝兩種狀態過渡時對穩像效果的影響，常常導致運動補償滯后于實際運動的變化。公開號是CN101281650A的中國發明專利申請采用參考幀方法，這種方法只適用于凝視拍攝的視頻序列穩像。公開號是CN101316368A的中國發明專利申請采用濾波方法進行運動補償，此方法沒有考慮到拍攝狀態的問題。由Yasuyuki?Matsushita，Eyal?Ofek，WeinaGe，Xiaoou?Tang和Heung-Yeung?Shum公開于PAMI?VOL.28，NO.7，JULY?2006的Full-frame?Video?Stabilization?with?Motion?Inpainting，采用了光流和濾波的運動補償方法，該方法對于存在復雜運動的視頻序列穩像效果也并不理想。

綜上所述，目前現有的電子穩像技術對于攝像載體任意無規則運動的穩像能力還存在很多缺陷和不足，特別是運動補償方法對于多種運動狀態也不具有自適應能力，造成光學成像設備不能有效消除隨機抖動，無法輸出真實反映攝像載體運動情況的穩定視頻圖像，圖像可能存在模糊、跳動等現象，給后續圖像處理工作帶來難度。

(三)發明內容