[發(fā)明專利]一種圖像超分辨率重建方法

有效

• 申請?zhí)枺?/td>: 201810380243.0
• 申請日: 2018-04-25
• 公開（公告）號: CN108550115B
• 公開（公告）日: 2020-06-16
• 發(fā)明（設(shè)計）人: 程德強;蔡迎春;陳亮亮;趙凱;姚潔;于文潔;趙廣源;劉海
• 申請（專利權(quán)）人: 中國礦業(yè)大學(xué)
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08
• 代理公司: 北京天達知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11386
• 代理人: 馬東偉;龐許倩

本發(fā)明涉及一種圖像超分辨率重建方法，屬于圖像處理技術(shù)領(lǐng)域，解決了現(xiàn)有技術(shù)生成圖像邊緣信息模糊、不能適用多種放大倍數(shù)以及重建效果差的問題。所述方法包括如下步驟：構(gòu)造訓(xùn)練和學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)，所述卷積神經(jīng)網(wǎng)絡(luò)從上到下依次包括LR特征提取層、非線性映射層、HR重建層；用該卷積神經(jīng)網(wǎng)絡(luò)對輸入的成對的LR圖像和HR圖像進行訓(xùn)練，同時進行至少兩個放大尺度的訓(xùn)練，求得卷積神經(jīng)網(wǎng)絡(luò)的最優(yōu)參數(shù)集和相應(yīng)放大尺度下的尺度調(diào)節(jié)因子；訓(xùn)練完成后，將目標LR圖像和目標放大倍數(shù)輸入所述卷積神經(jīng)網(wǎng)絡(luò)，可得到目標HR圖像。本發(fā)明卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度快，訓(xùn)練完成后可以實時得到訓(xùn)練尺度中任意放大倍數(shù)的HR圖像。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種圖像超分辨率重建方法。

背景技術(shù)

圖像超分辨率重建是一種從低分辨率(LR)圖像直接恢復(fù)成高分辨率(HR)圖像的方法，在很多實際應(yīng)用中都需要用到，例如醫(yī)學(xué)圖像分析、計算機視覺、遙感等。目前，圖像超分辨率重建方法主要分為三類：基于插值、基于重建、基于學(xué)習(xí)。

基于插值的圖像超分辨率重建方法一般比較簡單，容易實現(xiàn)，但生成圖像很難重現(xiàn)紋理等細節(jié)信息，較為模糊。

基于重建的圖像超分辨率重建方法以退化模型為基礎(chǔ)，利用圖像的先驗知識進行重建，但需要復(fù)雜的圖像配準和融合階段，其準確性直接影響生成圖像的質(zhì)量。并且，生成圖像可能過度平滑或缺乏一些重要的細節(jié)信息，在對生成圖像進行放大時模糊效果更佳明顯。

基于學(xué)習(xí)的圖像超分辨率重建方法已經(jīng)成為一個研究熱點。現(xiàn)有主流方法包括稀疏編碼(SC)方法、基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建(SRCNN)方法。SC方法，通過訓(xùn)練高低分辨率字典，學(xué)習(xí)LR與HR圖像之間的映射關(guān)系，但需要用到大量的高低分辨率圖像塊去訓(xùn)練高低分辨率字典，耗時較多。SRCNN方法，直接學(xué)習(xí)一種LR與HR圖像之間端到端的映射關(guān)系，在隱藏層中進行字典學(xué)習(xí)和空間模型建立，在卷積層中進行圖像塊的提取和放大，從而避免很多前/后期處理，取得了不錯的效果，但參數(shù)較多、收斂速度太慢，而且網(wǎng)絡(luò)的使用范圍不夠廣泛，對于不同的放大倍數(shù)要進行不同的網(wǎng)絡(luò)訓(xùn)練。

發(fā)明內(nèi)容

鑒于上述的分析，本發(fā)明實施例旨在提供一種圖像超分辨率重建方法，用以解決現(xiàn)有技術(shù)生成圖像邊緣信息模糊、不能適用多種放大倍數(shù)以及重建效果差的問題。

一方面，本發(fā)明實施例提供了一種圖像超分辨率重建方法，包括如下步驟：

構(gòu)造訓(xùn)練和學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)，所述卷積神經(jīng)網(wǎng)絡(luò)從上到下依次包括LR特征提取層、非線性映射層、HR重建層；

用所述卷積神經(jīng)網(wǎng)絡(luò)對圖像訓(xùn)練庫中成對設(shè)置的訓(xùn)練LR圖像和訓(xùn)練HR圖像同時進行至少2個放大尺度的訓(xùn)練和學(xué)習(xí)，求得所述卷積神經(jīng)網(wǎng)絡(luò)的最優(yōu)參數(shù)集和相應(yīng)放大尺度下的尺度調(diào)節(jié)因子；所述最優(yōu)參數(shù)集包括非線性映射層的權(quán)值；

共享所述非線性映射層的感受野與權(quán)值，將目標LR圖像和目標放大倍數(shù)輸入所述訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，在所述HR重建層輸出目標HR圖像。

上述技術(shù)方案的有益效果如下：在LR特征提取層，對輸入LR圖像進行梯度特征提取，得到LR特征圖；在非線性映射層，對LR特征圖進行多次非線性映射，得到HR特征圖；在HR重建層，將所述梯度特征提取層輸出的HR特征圖進行圖像重建，得到HR重建圖像。針對超分辨率重建問題的病態(tài)性，在訓(xùn)練階段可嵌入邊緣梯度等先驗信息對損失函數(shù)的空間解進行約束，可利用邊緣增強算子，突出圖像中的局部邊緣，HR重建效果提高。采用多任務(wù)學(xué)習(xí)拓寬卷積神經(jīng)網(wǎng)絡(luò)，實現(xiàn)了對不同放大倍數(shù)下的卷積網(wǎng)絡(luò)同時進行訓(xùn)練的效果。

基于上述方法的另一個實施例中，所述卷積神經(jīng)網(wǎng)絡(luò)還包括還包括損失函數(shù)層、邏輯判斷模塊；

所述損失函數(shù)層，用于在訓(xùn)練時將所述HR重建圖像與所述圖像訓(xùn)練庫中對應(yīng)的訓(xùn)練HR圖像進行比較，輸出HR重建損失函數(shù)；所述邏輯判斷模塊對所述HR重建損失函數(shù)進行收斂判斷；