[發(fā)明專利]基于級聯(lián)框架的單幅壓縮圖像超分辨率重建方法

在審

• 申請?zhí)枺?/td>: 201910571747.5
• 申請日: 2019-06-28
• 公開（公告）號: CN112150356A
• 公開（公告）日: 2020-12-29
• 發(fā)明（設(shè)計）人: 何小海;王新歡;李興龍;任超;熊淑華;王正勇
• 申請（專利權(quán)）人: 四川大學(xué)
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/08;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種基于級聯(lián)框架的單幅壓縮圖像超分辨率重建方法。本發(fā)明將去壓縮效應(yīng)子網(wǎng)絡(luò)與超分辨率子網(wǎng)絡(luò)級聯(lián)，提出了一種針對單幅壓縮圖像的超分辨率重建方法，主要包括以下步驟：對于輸入的低分辨率壓縮圖像，構(gòu)建一種基于寬激活殘差塊的去壓縮效應(yīng)網(wǎng)絡(luò)，得到去噪后的低分辨率圖像；對于去噪后的低分辨率圖像，構(gòu)建一種基于寬激活殘差塊的超分辨率重建網(wǎng)絡(luò)，得到最終高分辨率圖像；利用訓(xùn)練圖像數(shù)據(jù)集，訓(xùn)練構(gòu)建的去壓縮效應(yīng)網(wǎng)絡(luò)和超分辨率重建網(wǎng)絡(luò)；在圖像重建階段，將低分辨率壓縮圖像作為輸入，利用訓(xùn)練出的網(wǎng)絡(luò)重建出最終高分辨率圖像。本發(fā)明所述的方法能獲得很好的主客觀效果，是一種有效的單幅圖像超分辨率重建方法。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像分辨率提升技術(shù)，具體涉及一種基于級聯(lián)框架的單幅壓縮圖像超分辨率重建方法，屬于圖像處理領(lǐng)域。

背景技術(shù)

圖像作為主要的信息載體之一，因其具有直觀生動的特征，在人類的生產(chǎn)和生活中有著極為重要的地位。隨著網(wǎng)絡(luò)科技時代的迅猛發(fā)展，圖像和視頻的數(shù)據(jù)量呈現(xiàn)了爆發(fā)式的增長，為信息的存儲與傳輸帶來了嚴重的負荷。此外，人們對圖像質(zhì)量和分辨率的需求也日益增長，尤其在醫(yī)學(xué)、軍事、遙感、天文及智能監(jiān)控等應(yīng)用領(lǐng)域，都要求獲得更加清晰、分辨率更高、質(zhì)量更好的圖像，諸如此類的需求都對現(xiàn)有的技術(shù)和設(shè)備提出了巨大的挑戰(zhàn)。現(xiàn)階段，圖像往往是以低分辨率的形式進行采集、存儲和傳輸?shù)模⑶彝ǔ６紩D像進行一定倍數(shù)的壓縮以節(jié)省存儲空間和帶寬資源。然而，壓縮率的提高會導(dǎo)致圖像中出現(xiàn)嚴重的失真現(xiàn)象，降低圖像的質(zhì)量，圖像采集分辨率的降低也會導(dǎo)致圖像的高頻細節(jié)信息過度丟失，從而導(dǎo)致獲取到的圖像不能很好的滿足不同方面的應(yīng)用需求。

超分辨率重建技術(shù)可以對已采集的降質(zhì)圖像及視頻進行分辨率提升，具有成本低、實用性強的特點，因此其具有十分重要的理論和實際意義。但是絕大多數(shù)超分辨率重建算法針對的都是非壓縮圖像，即處理的低分辨率圖像中只存在下采樣或模糊的降質(zhì)條件，而壓縮圖像在量化階段引入的壓縮效應(yīng)與圖像自身的信息具有較強的相關(guān)性，尤其是在壓縮倍數(shù)較高的情況下，導(dǎo)致了常規(guī)的針對非壓縮圖像的超分辨率重建算法不能有效地處理壓縮圖像。

發(fā)明內(nèi)容

本發(fā)明的目的就在于為解決上述問題而提供一種基于級聯(lián)框架的單幅壓縮圖像超分辨率重建方法。在本發(fā)明中，將針對非壓縮圖像的超分辨率重建方法統(tǒng)稱為常規(guī)超分，將針對壓縮圖像的超分辨率重建方法稱為壓縮超分。本發(fā)明的方法使用基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)，將壓縮超分任務(wù)分解為去壓縮效應(yīng)和超分辨率重建兩個子問題，也即是先進行去壓縮效應(yīng)處理，再對處理后的結(jié)果進行超分辨率重建，從而構(gòu)建一種級聯(lián)的超分辨率重建框架。

本發(fā)明提出的基于級聯(lián)框架的單幅壓縮圖像超分辨率重建方法，主要包括以下操作步驟：

(1)對于輸入的低分辨率壓縮圖像，構(gòu)建一種基于寬激活殘差塊的去壓縮效應(yīng)網(wǎng)絡(luò)，用于去除壓縮噪聲，得到去噪后的低分辨率圖像；

(2)利用訓(xùn)練圖像集，訓(xùn)練步驟(1)中構(gòu)建的去壓縮效應(yīng)網(wǎng)絡(luò)；

(3)對于去噪后的低分辨率圖像，構(gòu)建一種基于寬激活殘差塊的超分辨率重建網(wǎng)絡(luò)，以提升圖像分辨率，得到最終高分辨率圖像；

(4)利用訓(xùn)練圖像數(shù)據(jù)集，訓(xùn)練步驟(3)中構(gòu)建的超分辨率重建網(wǎng)絡(luò)；

(5)在圖像重建階段，將低分辨率壓縮圖像作為輸入，利用步驟(2)中訓(xùn)練出的網(wǎng)絡(luò)來重建出低分辨率圖像，再將得到的圖像作為輸入，利用步驟(4)中訓(xùn)練出的網(wǎng)絡(luò)來重建出最終的高分辨率圖像。

附圖說明

圖1是本發(fā)明基于級聯(lián)框架的單幅壓縮圖像超分辨率重建方法的原理框圖

圖2是本發(fā)明卷積神經(jīng)網(wǎng)絡(luò)中用到的寬激活殘差塊結(jié)構(gòu)圖