[發明專利]一種基于頻域量化損失估計的JPEG壓縮圖像復原方法

在審

• 申請號: 201910730799.2
• 申請日: 2019-08-08
• 公開（公告）號: CN110519595A
• 公開（公告）日: 2019-11-29
• 發明（設計）人: 陳耀武;鄭博侖;田翔;葉欣
• 申請（專利權）人: 浙江大學
• 主分類號: H04N19/124
• 分類號: H04N19/124;H04N19/182;H04N19/186;H04N19/625
• 代理公司: 33224 杭州天勤知識產權代理有限公司
• 代理人: 曹兆霞<國際申請>=<國際公布>=<進入

本發明公開了一種基于頻域量化損失估計的JPEG壓縮圖像復原方法，首先提出了基于雙域卷積神經網絡的JPEG編碼壓縮圖像復原方法的處理框架，該框架由圖像特征編碼單元、圖像特征解碼單元、雙域壓縮損失修正單元以及標記圖，量化表等要素組成。通過研究DCT量化的統計先驗特性，引入了位素圖和標記圖等要素，同時采用預測圖像在頻域中亮度和色度的損失的策略，有效地將亮度與色度分量的學習與雙域卷積神經網絡相結合，解決了雙域卷積神經網絡無法利用雙域信息進行圖像復原的問題。該方法在JPEG編碼壓縮圖像復原領域較其他圖像去塊濾波方法在主觀圖像質量及PSNR、SSIM等關鍵技術指標上均有明顯的提升。

技術領域

本發明屬于圖像處理領域，具體涉及一種基于頻域量化損失估計的JPEG壓縮圖像復原方法。

背景技術

JPEG圖像壓縮編碼技術采用基于8×8像素塊的離散余弦(Discrete CosineTransform，DCT)變換，對變換后的DCT系數進行量化處理以消除圖像空間的冗余信息，實現對原有圖像的壓縮存儲。由于JPEG的優良的壓縮性能以及較低的計算復雜度，這種方法被廣泛應用于圖像技術相關的各個領域，是世界上應用最為廣泛的圖像壓縮編碼技術之一。

但由于JPEG是一種有損壓縮方法，通過使用更大的量化步長來實現更高的壓縮率，這使得圖像在獲取較高的壓縮率的同時，圖像質量產生了較為嚴重的下降。由于量化操作是一種非線性操作，且圖像中所有的像素塊量化都是獨立的，這使得相鄰像素塊的邊界處會產生明顯的灰度跳變，產生塊效應，且還會像素塊內部形成大量無序分布的模糊以及偽邊緣(振鈴效應)。這無論是對圖像的觀看體驗還是基于圖像的計算機視覺技術的應用都會產生極大的負面影響。

現有的壓縮損失圖像復原方法，尤其是基于卷積神經網絡的方法，大多數的僅基于像素域進行復原。由于JPEG壓縮的量化是針對頻域系數進行量化，也有一些方法將待復原圖像轉換至頻域，通過量化帶來的約束，對卷積神經網絡進行訓練。但是這種基于頻域量化約束來訓練的方法受制于DCT變換，只能針對灰度圖像進行處理，難以推廣到彩色圖像，這極大限制了卷積神經網絡在JPEG壓縮圖像復原方面的應用。

發明內容

本發明的目的是提供一種基于頻域量化損失估計的JPEG壓縮圖像復原方法。該JPEG壓縮圖像復原方法能夠快速實現對JPEG壓縮圖像的復原，且復原圖像質量較高。

本發明的技術方案為：

一種基于頻域量化損失估計的JPEG壓縮圖像復原方法，包括以下步驟：

步驟1，根據待復原圖像的圖像質量因子匹配對應的壓縮質量位素圖；

步驟2，根據壓縮質量位素圖和目標復原圖像尺寸，以失真圖像左上角為原點，重復疊加對應像素位置的壓縮質量位素圖，使得重復疊加的壓縮質量位素圖完全覆蓋目標復原圖像尺寸，并裁掉右側和下側區域多余像素點，得到目標復原圖像的壓縮質量標記圖；

步驟3，將壓縮質量標記圖與目標復原圖像按通道進行連接，得到一幅四通道圖像；

步驟4，將該四通道圖像及該待復原圖像的圖像質量因子對應的亮度通道量化表和色度通道量化表輸入至訓練好的雙域卷積神經網絡模型中，該四通道圖像依次經過圖像特征編碼單元、n個雙域壓縮損失修正單元以及圖像特征解碼單元處理，輸出復原圖像；

其中，每個雙域壓縮損失修正單元包括特征提取器、修正器、第一疊加層以及放大層四部分；

特征提取器主要用于像素域特征提取，包括膨脹卷積層、激活層、連接層以及卷積層；

修正器主要用于對頻域進行修正和像素特征進行修正，其包括頻域修正分支、像素特征修正分支以及對頻域修正分支結果和像素特征修正分支結果進行疊加輸出像素特征域損失的第二疊加層；像素特征修正分支包括一個卷積層C_P1；頻域修正分支包括亮度修正分支、色度修正分支以及對亮度修正分支結果和色度修正分支結果進行融合的卷積層C_D5；