[發(fā)明專利]基于自身樣例和稀疏表示的圖像超分辨率方法

有效

• 申請?zhí)枺?/td>: 201810478698.6
• 申請日: 2018-05-09
• 公開（公告）號: CN108830791B
• 公開（公告）日: 2022-05-06
• 發(fā)明（設(shè)計）人: 端木春江;左德遙
• 申請（專利權(quán)）人: 浙江師范大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 北京慕達星云知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11465
• 代理人: 李冉

單幅圖像超分辨率處理方法的目標是僅從一幅低分辨率的圖像，重建出一幅高分辨率且清晰的圖像。本發(fā)明提出了一種利用內(nèi)部樣例和外部字典訓練相結(jié)合的重建圖像高頻信息的方法。在訓練階段，該方法首先利用內(nèi)部樣例訓練的方法重建出圖像中的主要高頻特征，然后再利用外部字典訓練的方法訓練稀疏字典對。在圖像重建階段，首先利用和離線過程中同樣的方法重建出主要高頻特征，然后再利用稀疏表示的方法重建出殘差高頻特征。實驗表明，該算法可以重建出比較好的圖像中的高頻信息，所提出的方法的性能指標好于現(xiàn)有的超分辨率方法。

技術(shù)領(lǐng)域

本發(fā)明涉及到一種圖像處理的方法，尤其是單幅圖像的超分辨率處理的技術(shù)領(lǐng)域。即， 僅給定一幅低分辨率的圖像，需要從中重構(gòu)出高分辨率且清晰度更高的圖像。本技術(shù)在圖像 與視頻的放大、視頻監(jiān)控、遙感圖像處理等領(lǐng)域有著廣泛的的應(yīng)用。

背景技術(shù)

僅從一幅低分辨圖像中重建出一幅高分辨圖像的過程稱為單幅圖像的超分辨率技術(shù) (single image super-resolution)。在最近一些年，單幅圖像的超分辨率技術(shù)在實際生活中有著 廣泛的應(yīng)用，例如：在遙感圖像，醫(yī)學圖像，監(jiān)控圖像，圖像視頻壓縮和計算機視覺等領(lǐng)域， 此技術(shù)用來提高圖像的清晰度。

目前，圖像的超分辨的方法可以分為如下幾類：(1)基于插值的方法。其利用圖像的已 知低分辨率像素值來進行插值獲得高分辨率像素值。這類方法的特點是速度快，然而其重構(gòu) 的圖像的質(zhì)量不高，尤其是對于圖像的邊緣部分，會產(chǎn)生邊緣模糊的效應(yīng)。(2)基于樣例的 方法。在這類方法的基于外部樣例法中，利用外部大量的訓練圖像來得到含有低分辨率圖像 塊和所對應(yīng)的高分辨率圖像塊的集合。然后，對待放大的圖像塊，在訓練集合中尋找其最相 似的幾個低分辨率的圖像塊，通過這些圖像塊在訓練集合中所對應(yīng)的高分辨率圖像塊的優(yōu)化 的組合來得到高分辨率的圖像塊。在這類方法的基于內(nèi)部樣例法中，通過對輸入的低分辨率 圖像進行模擬的退化過程，得到分辨率更低的圖像塊，并不斷迭代重復(fù)這一過程直到獲得足 夠多的在不同分辨率上的圖像塊，以在這些圖像中，提取低分辨率的圖像塊和所對應(yīng)的高分 辨率的圖像塊放入訓練集合。這類方法的特點是訓練時間長，需要很大的存儲空間來存儲訓 練集合。同時，其找到相似塊的計算部分很費時。其重構(gòu)的高分辨率的圖像的質(zhì)量一般來說 要好于基于插值的方法，但是在圖像中會產(chǎn)生塊效應(yīng)，影響其輸出圖像的視覺效果。(3)基 于神經(jīng)網(wǎng)絡(luò)進行深度學習的方法。在這類方法中利用多層的卷積神經(jīng)網(wǎng)絡(luò)(CNN)來學習低 分辨率圖像到高分辨率圖像的映射，在學習完之后，利用學習好的模型來產(chǎn)生高分辨率的圖 像。在這里，需要大量的訓練圖像來產(chǎn)生較好的卷積神經(jīng)網(wǎng)絡(luò)的模型。一般來說，這類方法 的效果也要好于基于插值的方法。同時，如果輸入的低分辨率圖像和訓練集中的圖像的差異 較大時，會降低其輸出圖像的質(zhì)量。(4)基于稀疏表示的方法。在這類方法中，利用大量的 訓練圖像來產(chǎn)生可以稀疏表示圖像的字典，包括低分辨率圖像的字典和高分辨率圖像的字典。 對于要放大圖像上的圖像塊，首先利用低分辨率字典來稀疏表示，然后利用同樣的稀疏表示 的系數(shù)和高分辨率的字典來產(chǎn)生高分辨率的圖像塊。這類方法在訓練之后，僅需要存儲低分 辨率塊的字典和高分辨率塊的字典，其需要的存儲空間大大小于基于樣例的方法。一般情況 下，其獲得的輸出的圖像的質(zhì)量和以上所介紹的基于神經(jīng)網(wǎng)絡(luò)進行深度學習方法所輸出的圖 像的質(zhì)量差不多。同時，其泛化能力強，即使要放大的圖像和訓練集合中的圖像相差較大， 也能獲得較好的輸出的高分辨率的圖像。

通過以上介紹，可以看出基于稀疏表示的方法具有較好的性能，本發(fā)明將對原有的基于 稀疏表示的方法進行改進，以提高輸出的高分辨率圖像的質(zhì)量和視覺效果，得到更清晰的圖 像。

發(fā)明內(nèi)容