[發(fā)明專利]一種利用超分辨率重建技術(shù)提高拼接圖像分辨率的方法

在審

• 申請?zhí)枺?/td>: 201510424151.4
• 申請日: 2015-07-18
• 公開（公告）號: CN105096251A
• 公開（公告）日: 2015-11-25
• 發(fā)明（設(shè)計(jì)）人: 孫婷婷;周程灝;王治樂;牟宗高;朱瑤;徐君;莊雯;鄭爍
• 申請（專利權(quán)）人: 哈爾濱工業(yè)大學(xué)
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 哈爾濱龍科專利代理有限公司 23206
• 代理人: 高媛

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及一種利用超分辨率重建技術(shù)來提高拼接圖像分辨率的方法。

背景技術(shù)

圖像拼接最早來源于人類的攝影知識，由于使用普通數(shù)碼相機(jī)獲取寬視野的場景圖像時(shí)，受相機(jī)分辨率的限制，拍攝的場景越大，得到的圖像分辨率就越低。而獲取全景圖的專門硬件設(shè)備，例如全景相機(jī)、魚眼鏡頭以及線性推掃相機(jī)等不僅價(jià)格昂貴，而且失真也比較嚴(yán)重，存在部分圖像的畸變。為了在不降低圖像分辨率的條件下獲取超寬視角甚至360度的全景圖，利用計(jì)算機(jī)進(jìn)行圖像拼接被提出并逐漸研究發(fā)展起來。

圖像拼接技術(shù)可以將一系列有部分重疊邊界的小視角圖像，根據(jù)不同圖像的特征運(yùn)用不同的處理算法進(jìn)行匹配對準(zhǔn)，從而拼接成一幅寬視角圖像。然而，圖像拼接技術(shù)雖然擴(kuò)大了視場并獲得了具有穩(wěn)定分辨率的圖像，但其分辨率仍具有很大的提升空間。

發(fā)明內(nèi)容

本發(fā)明的目的提供一種利用超分辨率重建技術(shù)來提高拼接圖像分辨率的方法，在圖像拼接的基礎(chǔ)上運(yùn)用圖像超分辨率重建技術(shù)得到寬視場、高分辨率的圖像場景圖。

本發(fā)明的目的是通過以下技術(shù)方案實(shí)現(xiàn)的：

一種利用超分辨率重建技術(shù)來提高拼接圖像分辨率的方法，包括以下步驟：

步驟一：獲取具有部分重疊邊界的兩幀圖像A1、B1以及分別與其具有微小位移關(guān)系的序列圖像A2-A4、B2-B4。

本發(fā)明針對目標(biāo)場景，首先利用攝像系統(tǒng)獲取一部分場景的信息得到圖像A1，此時(shí)將攝像系統(tǒng)分別在水平方向移動微小位移(亞像素級到幾十個(gè)像素)得到序列圖像A2，在垂直方向移動微小位移得到序列圖像A3，在水平和垂直方向均移動微小位移得到序列圖像A4；然后運(yùn)用同樣的方法，得到目標(biāo)場景的另一部分圖像B1以及與其具有微小位移的序列圖像B2-B4。這樣，就完成了具有部分重疊邊界圖像A1、B1以及序列圖像A2-A4、B2-B4的采集工作。

步驟二：將A1-A4與B1-B4分別進(jìn)行超分辨重建，得到高分辨率圖像A、B。

以圖像A的重建過程為例，該圖像超分辨率重建的主要步驟如下：

(1)以第一幅圖像A1為基準(zhǔn)，利用圖像中易于實(shí)現(xiàn)高精度提取的特征點(diǎn)，計(jì)算出序列圖像A2、A3、A4與A1間的準(zhǔn)確位移關(guān)系；

(2)若圖像序列間的微位移量均小于一個(gè)像素即具有亞像素錯(cuò)位，那么直接利用該圖像序列A1-A4進(jìn)行超分辨率重建，即直接執(zhí)行步驟(4)；否則執(zhí)行步驟(3)；

(3)若圖像序列間的微位移量超過一個(gè)像素，則需要對序列圖像間整像素大小的位移量進(jìn)行圖像平移，從而獲得具有亞像素微位移的圖像序列，進(jìn)而執(zhí)行步驟(4)；

(4)利用圖像序列A1-A4進(jìn)行超分辨率重建得到高分辨率圖像A。重建算法具體如下：

以圖像A1左上角的頂點(diǎn)為原點(diǎn)，沿圖像坐標(biāo)系方向建立坐標(biāo)系，那么A2、A3、A4三幅圖像左上角的頂點(diǎn)坐標(biāo)分別為(Δx，0)、(0，Δy)、(Δx，Δy)，其中Δx和Δy分別為圖像序列間橫向和縱向的亞像素微位移大小。重建算法公式如(1)所示：

其中，i，j為自然數(shù)，a＝Δx/λ、b＝Δy/λ，λ為原始圖像的像素大小。

由此，完成高分辨率圖像A的重建，同樣的方法利用B1-B4得到高分辨率圖像B。

步驟三：對高分辨率圖像A、B進(jìn)行圖像拼接得到寬視角的拼接圖像C。

該圖像拼接算法主要步驟如下：

(1)特征點(diǎn)的提取：利用Harris角檢測器對待拼接圖像A、B提取角點(diǎn)；

(2)特征點(diǎn)的匹配：利用特征點(diǎn)鄰域灰度互相關(guān)法進(jìn)行特征點(diǎn)匹配；

(3)圖像的融合：利用漸入漸出融合法進(jìn)行圖像融合，得到拼接結(jié)果。

本發(fā)明與現(xiàn)有技術(shù)相比，具有以下優(yōu)點(diǎn)：

第一，本發(fā)明利用超分辨率重建技術(shù)來提高拼接圖像的分辨率，把圖像超分辨率重建技術(shù)與圖像拼接技術(shù)相結(jié)合，在擴(kuò)大視場的同時(shí)也提高了圖像的分辨率，進(jìn)而獲得更加豐富的場景信息。

第二，本發(fā)明中針對微位移量超過一個(gè)像素的兩幀圖像在進(jìn)行重建之前，對序列圖像間整像素大小的位移量進(jìn)行了圖像平移，從而獲得具有亞像素微位移的圖像序列。

第三，本發(fā)明中利用整像素圖像平移的方法解決兩幀圖像微位移量超過一個(gè)像素的問題，使超分辨率重建技術(shù)不苛求于精確的微位移。

第四，本發(fā)明中利用Harris角點(diǎn)檢測算法對待拼接圖像進(jìn)行特征點(diǎn)的提取。由于Harris角點(diǎn)在圖像中是各向同性的，這樣即使圖像發(fā)生旋轉(zhuǎn)也不會影響角點(diǎn)的檢測，同時(shí)角點(diǎn)的檢測基本不會受到光強(qiáng)的影響。