[發(fā)明專利]一種基于頻域量化損失估計(jì)的JPEG壓縮圖像復(fù)原方法

在審

• 申請?zhí)枺?/td>: 201910730799.2
• 申請日: 2019-08-08
• 公開（公告）號: CN110519595A
• 公開（公告）日: 2019-11-29
• 發(fā)明（設(shè)計(jì)）人: 陳耀武;鄭博侖;田翔;葉欣
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: H04N19/124
• 分類號: H04N19/124;H04N19/182;H04N19/186;H04N19/625
• 代理公司: 33224 杭州天勤知識產(chǎn)權(quán)代理有限公司
• 代理人: 曹兆霞<國際申請>=<國際公布>=<進(jìn)入

本發(fā)明公開了一種基于頻域量化損失估計(jì)的JPEG壓縮圖像復(fù)原方法，首先提出了基于雙域卷積神經(jīng)網(wǎng)絡(luò)的JPEG編碼壓縮圖像復(fù)原方法的處理框架，該框架由圖像特征編碼單元、圖像特征解碼單元、雙域壓縮損失修正單元以及標(biāo)記圖，量化表等要素組成。通過研究DCT量化的統(tǒng)計(jì)先驗(yàn)特性，引入了位素圖和標(biāo)記圖等要素，同時(shí)采用預(yù)測圖像在頻域中亮度和色度的損失的策略，有效地將亮度與色度分量的學(xué)習(xí)與雙域卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，解決了雙域卷積神經(jīng)網(wǎng)絡(luò)無法利用雙域信息進(jìn)行圖像復(fù)原的問題。該方法在JPEG編碼壓縮圖像復(fù)原領(lǐng)域較其他圖像去塊濾波方法在主觀圖像質(zhì)量及PSNR、SSIM等關(guān)鍵技術(shù)指標(biāo)上均有明顯的提升。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理領(lǐng)域，具體涉及一種基于頻域量化損失估計(jì)的JPEG壓縮圖像復(fù)原方法。

背景技術(shù)

JPEG圖像壓縮編碼技術(shù)采用基于8×8像素塊的離散余弦(Discrete CosineTransform，DCT)變換，對變換后的DCT系數(shù)進(jìn)行量化處理以消除圖像空間的冗余信息，實(shí)現(xiàn)對原有圖像的壓縮存儲。由于JPEG的優(yōu)良的壓縮性能以及較低的計(jì)算復(fù)雜度，這種方法被廣泛應(yīng)用于圖像技術(shù)相關(guān)的各個(gè)領(lǐng)域，是世界上應(yīng)用最為廣泛的圖像壓縮編碼技術(shù)之一。

但由于JPEG是一種有損壓縮方法，通過使用更大的量化步長來實(shí)現(xiàn)更高的壓縮率，這使得圖像在獲取較高的壓縮率的同時(shí)，圖像質(zhì)量產(chǎn)生了較為嚴(yán)重的下降。由于量化操作是一種非線性操作，且圖像中所有的像素塊量化都是獨(dú)立的，這使得相鄰像素塊的邊界處會產(chǎn)生明顯的灰度跳變，產(chǎn)生塊效應(yīng)，且還會像素塊內(nèi)部形成大量無序分布的模糊以及偽邊緣(振鈴效應(yīng))。這無論是對圖像的觀看體驗(yàn)還是基于圖像的計(jì)算機(jī)視覺技術(shù)的應(yīng)用都會產(chǎn)生極大的負(fù)面影響。

現(xiàn)有的壓縮損失圖像復(fù)原方法，尤其是基于卷積神經(jīng)網(wǎng)絡(luò)的方法，大多數(shù)的僅基于像素域進(jìn)行復(fù)原。由于JPEG壓縮的量化是針對頻域系數(shù)進(jìn)行量化，也有一些方法將待復(fù)原圖像轉(zhuǎn)換至頻域，通過量化帶來的約束，對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。但是這種基于頻域量化約束來訓(xùn)練的方法受制于DCT變換，只能針對灰度圖像進(jìn)行處理，難以推廣到彩色圖像，這極大限制了卷積神經(jīng)網(wǎng)絡(luò)在JPEG壓縮圖像復(fù)原方面的應(yīng)用。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于頻域量化損失估計(jì)的JPEG壓縮圖像復(fù)原方法。該JPEG壓縮圖像復(fù)原方法能夠快速實(shí)現(xiàn)對JPEG壓縮圖像的復(fù)原，且復(fù)原圖像質(zhì)量較高。

本發(fā)明的技術(shù)方案為：

一種基于頻域量化損失估計(jì)的JPEG壓縮圖像復(fù)原方法，包括以下步驟：

步驟1，根據(jù)待復(fù)原圖像的圖像質(zhì)量因子匹配對應(yīng)的壓縮質(zhì)量位素圖；

步驟2，根據(jù)壓縮質(zhì)量位素圖和目標(biāo)復(fù)原圖像尺寸，以失真圖像左上角為原點(diǎn)，重復(fù)疊加對應(yīng)像素位置的壓縮質(zhì)量位素圖，使得重復(fù)疊加的壓縮質(zhì)量位素圖完全覆蓋目標(biāo)復(fù)原圖像尺寸，并裁掉右側(cè)和下側(cè)區(qū)域多余像素點(diǎn)，得到目標(biāo)復(fù)原圖像的壓縮質(zhì)量標(biāo)記圖；

步驟3，將壓縮質(zhì)量標(biāo)記圖與目標(biāo)復(fù)原圖像按通道進(jìn)行連接，得到一幅四通道圖像；

步驟4，將該四通道圖像及該待復(fù)原圖像的圖像質(zhì)量因子對應(yīng)的亮度通道量化表和色度通道量化表輸入至訓(xùn)練好的雙域卷積神經(jīng)網(wǎng)絡(luò)模型中，該四通道圖像依次經(jīng)過圖像特征編碼單元、n個(gè)雙域壓縮損失修正單元以及圖像特征解碼單元處理，輸出復(fù)原圖像；

其中，每個(gè)雙域壓縮損失修正單元包括特征提取器、修正器、第一疊加層以及放大層四部分；

特征提取器主要用于像素域特征提取，包括膨脹卷積層、激活層、連接層以及卷積層；

修正器主要用于對頻域進(jìn)行修正和像素特征進(jìn)行修正，其包括頻域修正分支、像素特征修正分支以及對頻域修正分支結(jié)果和像素特征修正分支結(jié)果進(jìn)行疊加輸出像素特征域損失的第二疊加層；像素特征修正分支包括一個(gè)卷積層C_P1；頻域修正分支包括亮度修正分支、色度修正分支以及對亮度修正分支結(jié)果和色度修正分支結(jié)果進(jìn)行融合的卷積層C_D5；