[發(fā)明專利]利用圖像塊分類稀疏表示與自適應(yīng)聚合的圖像超分辨方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201310033127.9
• 申請(qǐng)日: 2013-01-29
• 公開（公告）號(hào): CN103150713A
• 公開（公告）日: 2013-06-12
• 發(fā)明（設(shè)計(jì)）人: 黃偉;肖亮;韋志輝
• 申請(qǐng)（專利權(quán)）人: 南京理工大學(xué)
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50;G06T3/40;G06K9/62
• 代理公司: 南京理工大學(xué)專利中心 32203
• 代理人: 唐代盛

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)字圖像處理技術(shù)領(lǐng)域，特別是一種利用圖像塊分類稀疏表示與自適應(yīng)聚合的圖像超分辨方法。

背景技術(shù)

在遙感成像、醫(yī)學(xué)成像和視頻監(jiān)控成像等領(lǐng)域中，由于成像設(shè)備的物理性限制，一般很難獲取清晰的高分辨率圖像。在實(shí)際應(yīng)用中，通過(guò)提高成像設(shè)備的分辨率級(jí)別獲取清晰的高分辨率圖像的方法花費(fèi)的代價(jià)太大且很難滿足實(shí)際應(yīng)用。因此，通過(guò)超分辨率圖像重構(gòu)后處理的方法來(lái)增強(qiáng)圖像的空間分辨率無(wú)疑是更好地選擇。

超分辨圖像重構(gòu)的方法就是從一幅或多幅低分辨圖像重構(gòu)出高分辨圖像。具有代表性的超分辨重構(gòu)方法有：Takeda等在“H.Takeda,S.Farsiu,and?P.Milanfar,“Kernel?regression?for?image?processing?and?reconstruction,”IEEE?Trans.Image?Process.,vol.16,no.2,pp.349–366,Feb.2007.”提出可操縱核函數(shù)回歸(Steering?Kernel?Regression；SKR)的非均勻插值方法，該方法同時(shí)考慮了圖像灰度與結(jié)構(gòu)信息，較好地保持了圖像邊緣，但是不能很好地恢復(fù)圖像紋理。考慮到自然圖像包含了許多結(jié)構(gòu)相似的圖像塊，Protter等在“M.Protter，M.Elad,H.Takeda,and?P.Milanfar,“Generalizing?the?nonlocal-means?to?super-resolution?reconstruction,”IEEE?Trans.Image?Process.,vol.18,no.1,pp.36-51,Jan.2009.”提出了非局部均值（Nonlocal-means；NLM）超分辨重構(gòu)的方法，該方法利用了圖像結(jié)構(gòu)重復(fù)性信息，能較好地恢復(fù)圖像紋理。Yang等在“J.Yang,J.Wright,T.Huang,Y.?Ma.“Image?super-resolution?via?sparse?representation.”IEEE?Transactions?on?Image?Processing19(11)(2010)2861–2873.”中提出基于稀疏表示（Sparse?representation;SR）的方法實(shí)現(xiàn)單幅圖像的超分辨重建，該方法首先將低分辨圖像按照分塊準(zhǔn)則，將圖像分成圖像塊，每個(gè)圖像塊都能利用通過(guò)學(xué)習(xí)得到的過(guò)完備字典中的幾個(gè)原子進(jìn)行線性表示；然后對(duì)輸入的低分辨圖像塊進(jìn)行稀疏表示，將得到的稀疏系數(shù)與高分辨的字典相乘得到高分辨圖像塊；最后將圖像塊按照重疊區(qū)域取平均值的方法進(jìn)行聚合，得到輸出的高分辨圖像。隨后，楊淑媛等發(fā)明了一種基于KSVD字典學(xué)習(xí)的多任務(wù)超分辨率圖像重構(gòu)方法（專利號(hào)：201010267446.2）。該方法利用K均值的方法將訓(xùn)練的圖像塊進(jìn)行分類，再利用KSVD字典學(xué)習(xí)的方法學(xué)習(xí)分類的過(guò)完備字典，最后利用多任務(wù)算法和學(xué)習(xí)的分類字典對(duì)低分辨圖像塊進(jìn)行超分辨重構(gòu)，將重構(gòu)的高分辨圖像塊進(jìn)行組合得到輸出的高分辨圖像。然而，該類方法重構(gòu)的高分辨圖像雖然在一定程度上保持了圖像邊緣和紋理信息，但是重構(gòu)的結(jié)果會(huì)出現(xiàn)失真和塊效應(yīng)。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種利用圖像塊分類稀疏表示與自適應(yīng)聚合的圖像超分辨方法，提高了超分辨重構(gòu)圖像的邊緣與紋理的保持效果，并且使重構(gòu)圖像更加接近于真實(shí)圖像。

實(shí)現(xiàn)本發(fā)明目的的技術(shù)解決方案為：一種利用圖像塊分類稀疏表示與自適應(yīng)聚合的圖像超分辨方法，包括字典學(xué)習(xí)階段和圖像超分辨重構(gòu)階段，其中在字典學(xué)習(xí)階段，首先構(gòu)建高分辨與低分辨圖像塊配對(duì)的訓(xùn)練集，再對(duì)訓(xùn)練集的圖像塊對(duì)進(jìn)行分類，通過(guò)字典學(xué)習(xí)的方法對(duì)分類的圖像塊對(duì)進(jìn)行學(xué)習(xí)，生成分類的過(guò)完備字典對(duì)；

在圖像超分辨重構(gòu)階段，首先對(duì)輸入的彩色低分辨圖像的亮度分量進(jìn)行分塊操作，利用分類稀疏表示的方法進(jìn)行超分辨重構(gòu)，得到初始化的高分辨圖像塊；其次對(duì)高分辨圖像塊按照重疊區(qū)域取平均值方法進(jìn)行聚合，其公式為：

從而得到初始估計(jì)的高分辨亮度分量X；然后利用可操縱核回歸的方法計(jì)算初始估計(jì)的高分辨亮度分量X局部的權(quán)值矩陣A，同時(shí)利用非局部均值的方法計(jì)算初始估計(jì)的高分辨亮度分量X全局的權(quán)值矩陣B，將計(jì)算得到局部的權(quán)值矩陣A和全局的權(quán)值矩陣B進(jìn)行圖像塊聚合，通過(guò)交替更新高分辨亮度分量X、矩陣A和矩陣B，直至滿足收斂條件則停止更新，否則，則對(duì)上述計(jì)算矩陣A和矩陣B的步驟進(jìn)行循環(huán)；最后將亮度分量與利用雙立方插值放大的色度分量進(jìn)行色彩融合，由YCbCr色彩空間轉(zhuǎn)換到RGB色彩空間，得到輸出的彩色高分辨圖像。