[發(fā)明專利]一種多模式實(shí)時(shí)電子穩(wěn)像系統(tǒng)

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 201110084163.9
• 申請(qǐng)日: 2011-04-02
• 公開(kāi)（公告）號(hào): CN102148934A
• 公開(kāi)（公告）日: 2011-08-10
• 發(fā)明（設(shè)計(jì)）人: 許廷發(fā);石明珠;梁炯
• 申請(qǐng)（專利權(quán)）人: 北京理工大學(xué)
• 主分類(lèi)號(hào): H04N5/232
• 分類(lèi)號(hào): H04N5/232;H04N5/14;G06T7/20
• 代理公司: 北京理工大學(xué)專利中心 11120
• 代理人: 張利萍;高燕燕

技術(shù)領(lǐng)域

本發(fā)明涉及一種多模式實(shí)時(shí)電子穩(wěn)像系統(tǒng)，用于完成不同平臺(tái)和環(huán)境下視頻圖像的高精度、實(shí)時(shí)性處理，屬于圖像處理領(lǐng)域。

背景技術(shù)

21世紀(jì)以來(lái)，電子穩(wěn)像技術(shù)以其易操作、高精度、體積小以及價(jià)格低、能耗小、智能化等特點(diǎn)，在軍事領(lǐng)域、民用航測(cè)以及攝影系統(tǒng)中得到廣泛的應(yīng)用。但是，傳統(tǒng)的電子穩(wěn)像理論和技術(shù)存在一些難題：1)運(yùn)動(dòng)平臺(tái)環(huán)境和特征復(fù)雜，成像條件多變，各種運(yùn)動(dòng)與圖像之間的數(shù)學(xué)模型建立非常艱難；2)實(shí)際拍攝景物的復(fù)雜性和多樣性，導(dǎo)致了穩(wěn)像算法的通用性、實(shí)時(shí)性差；3)由于工作模式和成像理論多年來(lái)未有根本性突破，目前的電子穩(wěn)像技術(shù)仍有許多不足，比如高頻抖動(dòng)帶來(lái)的模糊問(wèn)題，導(dǎo)致成像的清晰度不足以及穩(wěn)像精度低。

針對(duì)以上難點(diǎn)，國(guó)內(nèi)外研究工作者提出了一系列的電子穩(wěn)像算法和實(shí)現(xiàn)技術(shù)，如一種在大型搜索窗中進(jìn)行運(yùn)動(dòng)估計(jì)的向量跟蹤算法，參見(jiàn)M.Mattavelli，“Vector-tracing?algorithm?formotion?estimation?in?large?search?windows”，IEEE?Trans.Circuits?Syst.Video?Techno，2000，Vol.10，1426-1437；基于代表點(diǎn)匹配的電子穩(wěn)像算法，參見(jiàn)鐘平，“一種改進(jìn)的代表點(diǎn)匹配算法在穩(wěn)像技術(shù)中的應(yīng)用”，光學(xué)技術(shù)，2005，Vol.31，No.5，742-745；基于梯度信息的全局運(yùn)動(dòng)向量估計(jì)算法，參見(jiàn)T.Marius，A.Sakari，V.Markku，“Method?of?Motion?Estimation?forImage?Stabilization”，IEEE?ICASSP，2006，Vol.2，277-280；基于車(chē)載的電子穩(wěn)像技術(shù)，參見(jiàn)Hsu?Sheng-Che，Liang?Sheng-Fu，F(xiàn)an?Kang-Wei，Lin?Chin-Teng，“A?Robust?in-car?digital?imagestabilization?technique”，IEEE?Transactions?on?Systems，Man?and?Cybernetics，2007，Vol.37，No.2，234-247。電子穩(wěn)像算法研究比較多，但是，這些方法都忽略了平臺(tái)與圖像之間的關(guān)系，忽視了圖像中背景和目標(biāo)也存在運(yùn)動(dòng)的影響，僅適用于處理信息較單一的圖像序列，尤其是圖像信息復(fù)雜多變，這些方法各自的局限性使其都無(wú)法滿足實(shí)時(shí)性和高精度的要求。

國(guó)內(nèi)對(duì)電子穩(wěn)像技術(shù)的研究起步較晚，目前仍處于初級(jí)階段，大多數(shù)研究者只是單一研究特定運(yùn)動(dòng)平臺(tái)下的電子穩(wěn)像算法的研究，如機(jī)載、車(chē)載或者船載等穩(wěn)像算法。工程應(yīng)用的電子穩(wěn)像技術(shù)主要利用陀螺傳感器和伺服控制系統(tǒng)構(gòu)成的穩(wěn)定平臺(tái)來(lái)進(jìn)行穩(wěn)像的，而伺服系統(tǒng)固有的體積大、造價(jià)高、消耗功率大等缺點(diǎn)，在很多的場(chǎng)合往往難于滿足軍事和民用設(shè)備進(jìn)一步發(fā)展的需要。

發(fā)明內(nèi)容

本發(fā)明的技術(shù)解決問(wèn)題是：克服現(xiàn)有技術(shù)的不足，提供一種多模式實(shí)時(shí)電子穩(wěn)像系統(tǒng)，該系統(tǒng)具有多模式、高精度、實(shí)時(shí)性、抗高頻振動(dòng)及智能化的特點(diǎn)，以及結(jié)構(gòu)簡(jiǎn)單、便于集成、易于操作等優(yōu)點(diǎn)。

本發(fā)明的技術(shù)解決方案是：一種多模式實(shí)時(shí)電子穩(wěn)像系統(tǒng)，主要包括數(shù)學(xué)模型和預(yù)處理模塊、幀間穩(wěn)像模塊和幀內(nèi)穩(wěn)像模塊。其中幀間穩(wěn)像模塊包括基于感興趣區(qū)域全局運(yùn)動(dòng)估計(jì)單元、運(yùn)動(dòng)矢量濾波單元、運(yùn)動(dòng)決定單元和運(yùn)動(dòng)補(bǔ)償單元；數(shù)學(xué)模型和預(yù)處理模塊與幀間穩(wěn)像模塊中的基于感興趣區(qū)域全局運(yùn)動(dòng)估計(jì)單元連接，基于感興趣區(qū)域全局運(yùn)動(dòng)估計(jì)單元分別與運(yùn)動(dòng)矢量濾波單元和幀內(nèi)穩(wěn)像模塊連接，運(yùn)動(dòng)矢量濾波單元、運(yùn)動(dòng)決定單元和運(yùn)動(dòng)補(bǔ)償單元依次順序連接，運(yùn)動(dòng)補(bǔ)償單元分別與幀內(nèi)穩(wěn)像模塊和外部的DSP并行處理連接；

其中，數(shù)學(xué)模型和預(yù)處理模塊建立多模式電子穩(wěn)像數(shù)學(xué)模型并完成輸入視頻運(yùn)動(dòng)類(lèi)型的判定；幀間穩(wěn)像模塊中的基于感興趣區(qū)域全局運(yùn)動(dòng)估計(jì)單元完成對(duì)感興趣區(qū)域進(jìn)行全局運(yùn)動(dòng)估計(jì)，對(duì)圖像進(jìn)行處理估算出當(dāng)前幀相對(duì)于參考幀的全局運(yùn)動(dòng)偏移量，即由攝像機(jī)參數(shù)或者位置變化而引起的整個(gè)圖像的變化，然后通過(guò)運(yùn)動(dòng)矢量濾波單元對(duì)圖像進(jìn)行濾波，并將濾波后的圖像發(fā)送至運(yùn)動(dòng)決定單元；運(yùn)動(dòng)決定單元對(duì)檢測(cè)出來(lái)的全局運(yùn)動(dòng)矢量進(jìn)行分析，判斷該運(yùn)動(dòng)是由攝像載體的隨機(jī)抖動(dòng)引起的，還是屬于攝像機(jī)正常掃描運(yùn)動(dòng)，或者是兩者兼有；運(yùn)動(dòng)補(bǔ)償模塊根據(jù)無(wú)意運(yùn)動(dòng)分量作為待補(bǔ)償參數(shù)，直接使圖像上的像素按照被檢測(cè)出的運(yùn)動(dòng)偏移反方向做等量移動(dòng)，以實(shí)現(xiàn)圖像的行、列重組；幀內(nèi)穩(wěn)像模塊針對(duì)由高頻振動(dòng)引起的圖像幀內(nèi)模糊，進(jìn)行幀內(nèi)圖像的空間可變運(yùn)動(dòng)模糊的圖像復(fù)原。