[發(fā)明專利]無控制點圖像拼接方法

有效

• 申請?zhí)枺?/td>: 200810237427.8
• 申請日: 2008-12-25
• 公開（公告）號: CN101442619A
• 公開（公告）日: 2009-05-27
• 發(fā)明（設(shè)計）人: 李德仁;劉進
• 申請（專利權(quán)）人: 武漢大學
• 主分類號: H04N5/262
• 分類號: H04N5/262
• 代理公司: 武漢天力專利事務所
• 代理人: 程 祥;馮衛(wèi)平

技術(shù)領(lǐng)域

本發(fā)明屬于計算機視覺圖像處理技術(shù)領(lǐng)域，特別是涉及一種從變化場景的視頻幀自動連續(xù)拼接成一幅完整圖像的方法，這種技術(shù)不需要相機位姿和地面控制點信息，考慮視頻(或圖像序列)任意角度旋轉(zhuǎn)，比例以及透視變換，實現(xiàn)一種全自動彩色視頻圖像無縫拼接技術(shù)。

背景技術(shù)

圖像自動拼接技術(shù)在遙感勘測，軍事偵察，航天探索(如月球，火星表面影像拼接)、360°全景影像生成以及無人機遙感影像自動拼接等領(lǐng)域有著廣泛的需求和應用。傳統(tǒng)的影像拼接過程一旦存在旋轉(zhuǎn)，比例、光照變換等干擾因素往往需要人工參與，費時費力，精度不高，難以實現(xiàn)自動化。特別是在軍事領(lǐng)域中往往無GPS可用，相機姿態(tài)，位置都無法準確獲知，迫切需要一種無控制點及相機姿態(tài)的實時視頻圖像自動拼接方法。

圖像拼接就是將多幅相互間存在重疊部分的圖像序列進行空間匹配對準，經(jīng)采樣融合后形成一幅包含各圖像序列信息的、寬視角場景的、完整的、高清晰的新圖像的過程。目前圖像的拼接的研究工作已經(jīng)成為一個需求熱點。很多傳統(tǒng)的配準拼接方法，都存在拼接精度差，效率低，自動化程度低等弊病，有的需要飛機或者相機的姿態(tài)和GPS信息或者地面控制點的絕對坐標，這在很多情況下是難以提供的(如在戰(zhàn)時根本無法得到GPS信息；航拍未知地域(如火星表面)控制點的信息難以獲知)，有的難以對抗旋轉(zhuǎn)，比例變化和光照的干擾影響。因此對于遙感勘探或者軍事偵察工作者而言，迫切需要一種考慮旋轉(zhuǎn)、比例和光照變化的快速視頻圖像自動拼接方法。

自動圖像拼接主要涉及以下3方面技術(shù)：

1.圖像特征點自動提取，必須對于各種類型的圖像，都能穩(wěn)定有效的提取到特征點，不依賴于圖像旋轉(zhuǎn)、大小，分辨率，光照及色彩飽和度的變化。

2.被拼接圖像或視頻幀之間同名特征點的自動匹配，這個過程必須快速穩(wěn)健。

3.根據(jù)同名特征點對，計算兩圖像之間的透視變換矩陣，算法必須能自動拋棄掉錯誤的同名點對。

灰度圖像sift特征的方法[LOWE?D?G，Distinctive?image?features?from?scale-invariantkey?points[J].International?journal?of?Computer?vision，200460(2)：91-110]通過在圖像多尺度空間金字塔中尋找極值點確定較為穩(wěn)定的尺度不變的特征點位置；通過統(tǒng)計梯度方向直方圖確定特征點方向。文獻主要利用這種方法實現(xiàn)對被旋轉(zhuǎn)和遮擋的物體的識別。但該文獻并未討論視頻圖像拼接中的如下幾個關(guān)鍵問題：

1如何提取彩色圖像的尺度旋轉(zhuǎn)不變特征。實驗表明：簡單將RGB?3通道特征合并會產(chǎn)生非常差的效果。

2.如何利用這些特征點實現(xiàn)全自動圖像或視頻幀之間的穩(wěn)定拼接。

3.如何實現(xiàn)大量圖像序列之間的連續(xù)拼接。

4.如何實現(xiàn)并行特征點快速計算使得特征提取速度成倍提高。

如何解決自動拼接過程中的這些關(guān)鍵問題，都是本發(fā)明所要解決的問題。

2叉樹快速模式分類算法[Beis，J.and?Lowe，D.G.1997.Shape?indexing?using?approximatenearest-neighbour?search?in?high-dimensional?spaces.In?Conference?on?Computer?Vision?andPattern?Recognition，Puerto?Rico，pp.1000-1006.]通過待分類模式在特征空間中的分布，自動建立一種所謂最優(yōu)分類2叉樹。使得匹配效率得到很大提高。這種算法通過進一步改造可實現(xiàn)對海量圖像特征點的快速匹配。

相比于特征點匹配，特征提取也是拼接算法中的重要一環(huán)，也是比較耗時的一環(huán)。為進一步提高匹配效率，可在拼接算法過程中實現(xiàn)一種并行計算，使得拼接效率成倍提高。之所以可考慮采用幀間并行計算是由于

1.各幀之間計算無因果關(guān)系，可獨立運行，以充分發(fā)揮并行計算的優(yōu)勢。

2.多核計算機硬件環(huán)境已日益普及，即使是筆記本電腦，目前市場基本上不銷售單核而逐步普及雙核或4核機型，這極大降低了本項并行拼接技術(shù)的應用推廣成本。

RANSAC容錯技術(shù)用于直線擬合，除此以外進一步可推廣到平面擬合以及其他一切需要進行容錯處理的領(lǐng)域等等。RANSAC算法是通過隨機搜索符合條件的對象數(shù)量并最大化該數(shù)量的來實現(xiàn)的，但這并未考慮所選中對象與條件的誤差程度，而這種誤差條件在圖像拼接中也是相當重要的。推廣利用結(jié)合條件誤差的RANSAC技術(shù)可以更好地解決圖像拼接中的特征點容錯匹配的計算問題。