[發(fā)明專利]實時電子穩(wěn)像中基于運動狀態(tài)識別的運動補(bǔ)償方法

無效

• 申請?zhí)枺?/td>: 200910081057.8
• 申請日: 2009-04-01
• 公開（公告）號: CN101511024A
• 公開（公告）日: 2009-08-19
• 發(fā)明（設(shè)計）人: 趙丹培;馮昊;姜志國;安萌
• 申請（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號: H04N7/26
• 分類號: H04N7/26;G06T7/20
• 代理公司: 北京慧泉知識產(chǎn)權(quán)代理有限公司
• 代理人: 王順榮;唐愛華

(一)技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)的應(yīng)用領(lǐng)域，涉及視頻圖像實時電子穩(wěn)像中的一種運動補(bǔ)償方法。該方法通過幀間運動估計和運動補(bǔ)償能夠消除視頻圖像序列中因拍攝載體的不規(guī)則運動給圖像造成的影響，實時輸出穩(wěn)定的視頻圖像，以此提高視頻設(shè)備的圖像質(zhì)量和系統(tǒng)后續(xù)處理的準(zhǔn)確性。

(二)技術(shù)背景

隨著光學(xué)成像設(shè)備在交通、醫(yī)療、精確制導(dǎo)、軍事偵察和航天領(lǐng)域等的廣泛應(yīng)用，對成像質(zhì)量的要求越來越高。通過手持?jǐn)z像設(shè)備、車載攝像系統(tǒng)、飛機(jī)、導(dǎo)彈以及衛(wèi)星等攝影平臺所采集到的視頻圖像信號不僅包含攝像機(jī)載體的平穩(wěn)運動，還包含了很多隨機(jī)運動，如低頻抖動、高頻振動以及不規(guī)則的晃動、攝動等，涉及的運動類型主要有旋轉(zhuǎn)、平移和尺度等。由于這種隨機(jī)運動的存在，造成了拍攝視頻的不穩(wěn)定，嚴(yán)重影響視覺效果，不利于觀察和監(jiān)視，容易造成操作者的視覺疲勞甚至情緒變化，同時也不利于后續(xù)處理。

為避免上述不規(guī)則的隨機(jī)運動對光學(xué)設(shè)備成像質(zhì)量的影響，就需要判斷出拍攝載體本身的平穩(wěn)運動和隨機(jī)抖動，利用圖像處理的方法消除隨機(jī)抖動，只保留攝像機(jī)本身的平穩(wěn)運動，使輸出的圖像序列清晰穩(wěn)定，這就是電子穩(wěn)像技術(shù)。這種穩(wěn)像方法具有成本低、效果好和應(yīng)用靈活等特點，已獲得廣泛關(guān)注，在國內(nèi)外都有較快發(fā)展。

電子穩(wěn)像技術(shù)包含兩項關(guān)鍵技術(shù)：(1)、幀間運動估計方法。通過估計相鄰幀或多幀圖像之間的運動參數(shù)來描述攝像機(jī)的平穩(wěn)運動軌跡，這些運動關(guān)系包括平移、旋轉(zhuǎn)或者尺度變換等；(2)、運動補(bǔ)償方法。這一部分主要用于分析運動軌跡中的平穩(wěn)運動成分和隨機(jī)抖動成分，在保留平穩(wěn)運動成分的同時剔除隨機(jī)抖動。

其中運動補(bǔ)償是電子穩(wěn)像中涉及到的一個關(guān)鍵技術(shù)。通過運動補(bǔ)償處理可以保留全局運動矢量中攝像機(jī)的平穩(wěn)運動量，同時去除運動軌跡中的不穩(wěn)定運動量，并確定輸出圖像在視場中的位置。攝像機(jī)拍攝的視頻可分為兩大類：(1)、凝視拍攝，即攝像機(jī)拍攝的畫面始終保持對同一場景的拍攝，視頻的幀間運動都是需要去除的不規(guī)則抖動；(2)、掃描拍攝，即攝像機(jī)隨載體做無規(guī)則自由運動，視頻幀間運動既包含攝像機(jī)隨載體的平穩(wěn)運動，也包括攝像機(jī)的隨機(jī)抖動。通常情況下拍攝的視頻可近似認(rèn)為是這兩類拍攝方式的組合以及它們之間的過渡。最簡單的方法是以某一幀作為參考幀，將后續(xù)的各幀直接與參考幀配準(zhǔn)，該方法的優(yōu)點是能夠獲得十分穩(wěn)定的視頻，適用于凝視拍攝方式，但該方法無法適用于掃描拍攝，并且容易受到積累誤差和噪聲的影響。為了處理掃描拍攝的視頻，通常采用濾波的方法對運動軌跡進(jìn)行平滑，但該方法無法并不能很好的處理凝視和掃描混合拍攝的視頻，一方面，較小的濾波器帶寬雖能適應(yīng)運動形式變化，但尖銳的噪聲會嚴(yán)重破壞穩(wěn)像效果，導(dǎo)致連續(xù)幾幀的圖像不穩(wěn)定或跳動現(xiàn)象，稱為“欠平滑”；另一方面，過度的平滑雖然可在一定程度上避免尖銳噪聲的影響，卻可將平穩(wěn)運動作為噪聲大幅抑制，出現(xiàn)視頻滯后現(xiàn)象，稱為“過平滑”。因此單純采用一種運動補(bǔ)償方法往往很難獲得滿意的效果，此外，現(xiàn)有方法都沒有考慮到掃描拍攝和凝視拍攝兩種狀態(tài)過渡時對穩(wěn)像效果的影響，常常導(dǎo)致運動補(bǔ)償滯后于實際運動的變化。公開號是CN101281650A的中國發(fā)明專利申請采用參考幀方法，這種方法只適用于凝視拍攝的視頻序列穩(wěn)像。公開號是CN101316368A的中國發(fā)明專利申請采用濾波方法進(jìn)行運動補(bǔ)償，此方法沒有考慮到拍攝狀態(tài)的問題。由Yasuyuki?Matsushita，Eyal?Ofek，WeinaGe，Xiaoou?Tang和Heung-Yeung?Shum公開于PAMI?VOL.28，NO.7，JULY?2006的Full-frame?Video?Stabilization?with?Motion?Inpainting，采用了光流和濾波的運動補(bǔ)償方法，該方法對于存在復(fù)雜運動的視頻序列穩(wěn)像效果也并不理想。

綜上所述，目前現(xiàn)有的電子穩(wěn)像技術(shù)對于攝像載體任意無規(guī)則運動的穩(wěn)像能力還存在很多缺陷和不足，特別是運動補(bǔ)償方法對于多種運動狀態(tài)也不具有自適應(yīng)能力，造成光學(xué)成像設(shè)備不能有效消除隨機(jī)抖動，無法輸出真實反映攝像載體運動情況的穩(wěn)定視頻圖像，圖像可能存在模糊、跳動等現(xiàn)象，給后續(xù)圖像處理工作帶來難度。

(三)發(fā)明內(nèi)容