[發(fā)明專利]基于預(yù)放大非負(fù)鄰域嵌入的單幀圖像超分辨重建方法

有效

• 申請?zhí)枺?/td>: 201410275760.3
• 申請日: 2014-06-19
• 公開（公告）號: CN104036468B
• 公開（公告）日: 2017-06-16
• 發(fā)明（設(shè)計）人: 寧貝佳;彭羊平;高新波;許潔;高傳清
• 申請（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 北京科億知識產(chǎn)權(quán)代理事務(wù)所(普通合伙)11350
• 代理人: 湯東鳳

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體涉及基于鄰域嵌入的單幀圖像超分辨重建方法，可廣泛應(yīng)用于遙感偵察、交通及安全監(jiān)控、模式識別等領(lǐng)域。

背景技術(shù)

圖像的分辨率越高，提供的信息就越豐富。在各種各樣的實(shí)際應(yīng)用中，高分辨率圖像都發(fā)揮著重要作用。高分辨率衛(wèi)星圖像有助于目標(biāo)識別，交通及安全監(jiān)控、模式識別等領(lǐng)域也需要高分辨率圖像。由于受成像系統(tǒng)物理條件和天氣影響，成像過程中往往存在運(yùn)動模糊、下采樣和噪聲等退化過程，使得實(shí)際得到的圖像分辨率低、質(zhì)量差。要獲得高分辨率圖像，最直接的方法是采用高分辨率圖像傳感器，降低像素尺寸，提高單位面積的像素數(shù)量，但這種方法對圖像傳感器和光學(xué)器件的制造工藝和成本的要求很高，在很多場合中難以實(shí)現(xiàn)。圖像超分辨重建技術(shù)可以從單幀或多幀低分辨率輸入圖像獲得高分辨率圖像，相比而言，使用超分辨重建技術(shù)成本更低，更容易實(shí)現(xiàn)。

目前，圖像超分辨率重建技術(shù)可分為三類：基于插值、基于重建和基于學(xué)習(xí)的方法。

基于插值的方法是超分辨率研究中最直觀的方法。常見的方法包括最近鄰插值、雙線性插值、雙立方插值等。這類方法的優(yōu)點(diǎn)是計算復(fù)雜度低，快速易行。但是引入的高頻信息是基于預(yù)先假定的插值模板，當(dāng)模板與實(shí)際情況不符時，可能導(dǎo)致重建圖像質(zhì)量不高。

基于重建的方法根據(jù)圖像退化模型，結(jié)合圖像先驗知識構(gòu)造相應(yīng)的正則項以恢復(fù)丟失的高頻信息。包括迭代反向投影方法、最大后驗概率方法等。這類方法能在一定程度上緩解基于插值方法所產(chǎn)生的模糊效果。但當(dāng)圖像放大倍數(shù)較大時，重建效果通常也不太理想。

基于學(xué)習(xí)的方法是近年來超分辨率算法研究的熱點(diǎn)方向。其基本思路是通過學(xué)習(xí)低分辨率圖像和高分辨率圖像之間的映射關(guān)系，將學(xué)好的映射關(guān)系用于低分辨率輸入圖像以獲得高分辨率圖像。Chang等人在文獻(xiàn)“Chang H,Yeung D Y,Xiong Y.Super-resolution through neighbor embedding[C]//Computer Vision and Pattern Recognition,2004.CVPR2004.Proceedings of the 2004 IEEE Computer Society Conference on.IEEE,2004,1:I-I.”中假設(shè)高、低分辨率圖像塊在各自特征空間具有相似的局部結(jié)構(gòu)，將低分辨率空間的權(quán)值用于高分辨率空間，提出了基于鄰域嵌入的圖像超分辨重建方法。但是當(dāng)放大倍數(shù)較大時，高、低分辨率圖像塊在各自特征空間形成的局部結(jié)構(gòu)不再相似，導(dǎo)致重建質(zhì)量的下降。另一方面，當(dāng)選取的近鄰數(shù)K變化時，重建質(zhì)量波動較大，因此，近鄰數(shù)K的選取是一個亟待解決的問題。為此，Chan等人在文獻(xiàn)“Chan T M,Zhang J,Pu J,et al.Neighbor embedding based super-resolution algorithm through edge detection and feature selection[J].Pattern Recognition Letters,2009,30(5):494-502.”中針對邊緣檢測和特征選擇對鄰域嵌入方法進(jìn)行了改進(jìn)，對邊緣圖像塊和非邊緣圖像塊進(jìn)行不同的處理，同時對圖像塊選取了新的特征表示，從而提高了重建質(zhì)量。然而，該方法依賴邊緣檢測，不正確的邊緣檢測會使結(jié)果圖像中存在人工痕跡。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對現(xiàn)有技術(shù)中的不足，提供一種基于預(yù)放大非負(fù)鄰域嵌入的單幀圖像超分辨重建方法，以恢復(fù)更多的高頻細(xì)節(jié)信息，提高重建圖像的質(zhì)量。

為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案為：一種基于預(yù)放大非負(fù)鄰域嵌入的單幀圖像超分辨重建方法，其創(chuàng)新點(diǎn)在于：包括以下步驟：

(1)構(gòu)建高分辨率訓(xùn)練圖像集

(2)對進(jìn)行模糊和下采樣操作得到臨時低分辨率圖像集

(3)對臨時低分辨率圖像集預(yù)放大2倍得到低分辨率訓(xùn)練圖像集

(4)構(gòu)建低分辨率訓(xùn)練圖像塊集

(5)構(gòu)建高分辨率訓(xùn)練圖像塊集

(6)讀取低分辨率輸入圖像T_LR，設(shè)定需要放大的倍數(shù)為3倍，預(yù)先將其放大2倍；

(7)構(gòu)建低分辨率輸入圖像塊集X_T；

(8)根據(jù)低分辨率訓(xùn)練圖像塊集非負(fù)鄰域嵌入表示輸入圖像塊集X_T，得到重建系數(shù)；

(9)輸出高分辨率圖像T_HR。

進(jìn)一步的，所述步驟(1)具體操作如下：

(a)搜集多幅彩色高分辨率自然圖像；