[發(fā)明專利]一種由粗糙到精細的單張圖像超分辨率重建方法

有效

• 申請?zhí)枺?/td>: 201911357050.4
• 申請日: 2019-12-25
• 公開（公告）號: CN111161146B
• 公開（公告）日: 2022-10-14
• 發(fā)明（設(shè)計）人: 張吉慶;楊鑫;尹寶才;魏小鵬;張強
• 申請（專利權(quán)）人: 大連理工大學(xué)
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04
• 代理公司: 大連理工大學(xué)專利中心 21200
• 代理人: 溫福雪;侯明遠

本發(fā)明屬于計算機視覺技術(shù)領(lǐng)域，提供了一種由粗糙到精細的單張圖像超分辨率重建方法，整體網(wǎng)絡(luò)包含兩個階段，分別是多上下文提取階段和重建增強階段。多上下文階段用于提取低分辨率空間的圖像上下文特征信息，重建增強階段用于提取利用高分辨率空間的特征信息。本發(fā)明重建出的高分辨率圖像視覺效果好，并且在峰值信噪比和結(jié)構(gòu)相似性等圖像評價指標上表現(xiàn)優(yōu)異。同時本專利對時間成本與硬件需求低。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機視覺技術(shù)領(lǐng)域，尤其涉及基于深度學(xué)習(xí)的對單張圖像進行超分辨率重建的方法。

背景技術(shù)

圖像分辨率是指圖像中存儲的信息量，是衡量圖像的重要指標。高分辨率圖像包含更多的細節(jié)紋理信息，對信息的表達能力更強。隨著具有較高分辨率電子產(chǎn)品的廣泛使用，人們對高分辨率圖像的需求變得越來越大。單幅圖像超分辨率重建是從給定的一幅低分辨率圖像重構(gòu)出一幅高分辨率圖像。圖像超分辨率重建可以應(yīng)用到許多重要的領(lǐng)域，例如：在醫(yī)學(xué)圖像MRI、CT中，超分辨率重建可以更好的幫助醫(yī)生確定病體的詳細狀況；在監(jiān)控視頻中，圖像的超分辨率重建可以更好幫助相關(guān)人員進行辨識，比如車牌識別和人臉識別等。深度學(xué)習(xí)已經(jīng)成功應(yīng)用到圖像超分辨率重建中。目前，比較流行的圖像超分辨率重建的方法是使用卷積神經(jīng)網(wǎng)絡(luò)。根據(jù)升采樣(upsampling)在網(wǎng)絡(luò)結(jié)構(gòu)中的位置和使用方式，可以把超分網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計分為四大類：前端升采樣超分網(wǎng)絡(luò)、后端升采樣超分網(wǎng)絡(luò)、漸進式升采樣超分網(wǎng)絡(luò)。

(1)前端升采樣超分網(wǎng)絡(luò)，一般使用雙三次插值(bicubic)直接將低分辨率圖像插值到目標分辨率，然后使用深度卷積網(wǎng)絡(luò)等模型重建高質(zhì)量細節(jié)信息。Dong等人第一次成功地將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像的超分辨率重建。Dong等人使用簡單的層數(shù)很少的卷積神經(jīng)網(wǎng)絡(luò)分別對圖像進行特征提取、建立非線性映射、高分辨率圖像的重建。Kim等人通過加深網(wǎng)絡(luò)的深度使網(wǎng)絡(luò)能更好地提取圖像上下文信息，同時采用了殘差學(xué)習(xí)和更大的學(xué)習(xí)率來加速網(wǎng)絡(luò)收斂。Kim等人提出深度遞歸卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率重建的方法。增加遞歸深度可以提高性能，卻不會為附加的卷積引入新參數(shù)。這類方法顯著降低了學(xué)習(xí)的難度，但是預(yù)先設(shè)定的升采樣方法會引入模糊和噪聲放大等問題，同時因為網(wǎng)絡(luò)在前端即進行插值到高分辨率空間，所需的存儲空間和耗時都遠高于其他類型超分網(wǎng)絡(luò)

(2)后端升采樣超分網(wǎng)絡(luò)，一般在網(wǎng)絡(luò)結(jié)構(gòu)的最后一層或幾層，使用端到端可學(xué)習(xí)的升采樣層。Dong等人針對時間、計算量花銷大的問題，對原網(wǎng)絡(luò)進行改進。第一，在最后一層添加反卷積層。第二，減小輸入特征圖的維度同時采用更小的卷積核。Shi等人引入了一個有效的子像素卷積層，該層學(xué)習(xí)了一個升序濾波器陣列，將最終的低分辨率特征圖上采樣到高分辨率輸出。EDSR,RDN,RCAN相繼引入密集連接、注意力機制與用于超分辨率重建的卷積神經(jīng)網(wǎng)絡(luò)中。后端升采樣超分網(wǎng)絡(luò)中的絕大部分映射變換都在低分辨率空間進行，計算復(fù)雜度和空間復(fù)雜度都明顯降低，同時訓(xùn)練和測試速度也都明顯提高，被多前主流超分網(wǎng)絡(luò)框架所使用。為了更加實用，許多以輕量級為核心貢獻點的網(wǎng)絡(luò)也被提出來

(3)漸進式升采樣網(wǎng)絡(luò)，主要是解決大的超分倍增系數(shù)，升采樣不是一步完成的，而是采用拉普拉斯金字塔或者級聯(lián)CNN等方式，產(chǎn)生一些中間的重建圖像作為后續(xù)模塊的輸入圖像。Lai等人采用拉普拉斯金字塔結(jié)構(gòu)逐漸增加重建圖像的大小。這類方法可以降低學(xué)習(xí)難度，特別是在大的超分倍增系數(shù)時。

然而這些算法都要不可避免地面臨以下幾個問題：第一，為了提取來自圖像的低分辨率空間信息，一些算法傾向于盲目地增加網(wǎng)絡(luò)的深度或者寬度，從而導(dǎo)致增加算法的計算量；第二，圖像上下文特征是重建高分辨率圖像的關(guān)鍵信息，而當前算法不能充分有效地提取利用圖像上下文特征信息；第三，大部分算法直接在網(wǎng)絡(luò)末端進行上采樣操作進而重建最后的高分辨率圖像，該操作會增加訓(xùn)練大倍數(shù)超分辨率重建的難度，并且難以利用在高分辨率空間上的信息。

發(fā)明內(nèi)容

本發(fā)明針對圖像超分辨率重建過程中難以有效提取利用圖像上下文特征信息、高分辨率空間信息利用率低的技術(shù)難題，設(shè)計了一個基于深度學(xué)習(xí)技術(shù)的單張圖像超分辨率重建算法，能夠?qū)o定的低分辨率圖像，生成細節(jié)豐富、紋理清晰的高分辨率圖像。