[發(fā)明專利]一種基于頻域量化損失估計(jì)的JPEG壓縮圖像復(fù)原方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910730799.2
• 申請(qǐng)日: 2019-08-08
• 公開（公告）號(hào): CN110519595A
• 公開（公告）日: 2019-11-29
• 發(fā)明（設(shè)計(jì)）人: 陳耀武;鄭博侖;田翔;葉欣
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): H04N19/124
• 分類號(hào): H04N19/124;H04N19/182;H04N19/186;H04N19/625
• 代理公司: 33224 杭州天勤知識(shí)產(chǎn)權(quán)代理有限公司
• 代理人: 曹兆霞<國(guó)際申請(qǐng)>=<國(guó)際公布>=<進(jìn)入

1.一種基于頻域量化損失估計(jì)的JPEG壓縮圖像復(fù)原方法，包括以下步驟：

步驟1，根據(jù)待復(fù)原圖像的圖像質(zhì)量因子匹配對(duì)應(yīng)的壓縮質(zhì)量位素圖；

步驟2，根據(jù)壓縮質(zhì)量位素圖和目標(biāo)復(fù)原圖像尺寸，以失真圖像左上角為原點(diǎn)，重復(fù)疊加對(duì)應(yīng)像素位置的壓縮質(zhì)量位素圖，使得重復(fù)疊加的壓縮質(zhì)量位素圖完全覆蓋目標(biāo)復(fù)原圖像尺寸，并裁掉右側(cè)和下側(cè)區(qū)域多余像素點(diǎn)，得到目標(biāo)復(fù)原圖像的壓縮質(zhì)量標(biāo)記圖；

步驟3，將壓縮質(zhì)量標(biāo)記圖與目標(biāo)復(fù)原圖像按通道進(jìn)行連接，得到一幅四通道圖像；

步驟4，將該四通道圖像及該待復(fù)原圖像的圖像質(zhì)量因子對(duì)應(yīng)的亮度通道量化表和色度通道量化表輸入至訓(xùn)練好的雙域卷積神經(jīng)網(wǎng)絡(luò)模型中，該四通道圖像依次經(jīng)過圖像特征編碼單元、n個(gè)雙域壓縮損失修正單元以及圖像特征解碼單元處理，輸出復(fù)原圖像；

其中，每個(gè)雙域壓縮損失修正單元包括特征提取器、修正器、第一疊加層以及放大層四部分；

特征提取器主要用于像素域特征提取，包括膨脹卷積層、激活層、連接層以及卷積層；

修正器主要用于對(duì)頻域進(jìn)行修正和像素特征進(jìn)行修正，其包括頻域修正分支、像素特征修正分支以及對(duì)頻域修正分支結(jié)果和像素特征修正分支結(jié)果進(jìn)行疊加輸出像素特征域損失的第二疊加層；像素特征修正分支包括一個(gè)卷積層C_P1；頻域修正分支包括亮度修正分支、色度修正分支以及對(duì)亮度修正分支結(jié)果和色度修正分支結(jié)果進(jìn)行融合的卷積層C_D5；

放大層用于對(duì)第二疊加層輸出的像素特征域損失進(jìn)行放大；

第一疊加層用于對(duì)放大層輸出的放大后的像素特征域損失和特征提取器輸入的像素域特征進(jìn)行疊加融合，輸出修正后的像素域特征。

2.如權(quán)利要求1所述的基于頻域量化損失估計(jì)的JPEG壓縮圖像復(fù)原方法，其特征在于，所述亮度修正分支按照數(shù)據(jù)流順序依次包括卷積層C_D1、輸出限制單元R1、乘法層M1、DCT反變換層iDCT1、卷積層C_D3，其中，

卷積層C_D1用于對(duì)輸入像素域特征進(jìn)行卷積操作，再一次進(jìn)行像素域特征提取，輸出圖；

輸出限制單元R1用于預(yù)測(cè)卷積層輸出的像素域特征圖中每個(gè)像素點(diǎn)的相對(duì)亮度損失頻譜；

乘法層M1用于將輸出限制單元輸出的相對(duì)亮度損失頻譜乘以對(duì)應(yīng)的亮度量化表，得到絕對(duì)亮度損失頻譜；

DCT反變換層iDCT1用于對(duì)絕對(duì)亮度損失頻譜進(jìn)行DCT反變換，將絕對(duì)亮度損失頻譜轉(zhuǎn)回至像素點(diǎn)的亮度像素域；

卷積層C_D3用于將像素點(diǎn)的亮度像素域損失映射至像素點(diǎn)的像素特征域。

3.如權(quán)利要求1或2所述的基于頻域量化損失估計(jì)的JPEG壓縮圖像復(fù)原方法，其特征在于，色度修正分支按照數(shù)據(jù)流順序依次包括膨脹卷積DC_D2、乘法層M2、DCT反變換層iDCT2、卷積層C_D4，其中，

膨脹卷積DC_D2用于預(yù)測(cè)輸入特征圖中每個(gè)像素點(diǎn)的相對(duì)色度損失頻譜；

乘法層M2用于將膨脹卷積DC_D2輸出的相對(duì)色度損失頻譜乘以對(duì)應(yīng)的色度量化表，得到絕對(duì)色度損失頻譜；

DCT反變換層iDCT2用于對(duì)絕對(duì)色度損失頻譜進(jìn)行DCT反變換，將絕對(duì)色度損失頻譜轉(zhuǎn)回至像素點(diǎn)的亮度像素域；

卷積層C_D4用于將像素點(diǎn)的色度像素域損失映射至像素點(diǎn)的像素特征域。

4.如權(quán)利要求1所述的基于頻域量化損失估計(jì)的JPEG壓縮圖像復(fù)原方法，其特征在于，所述圖像特征編碼單元包括依次連接的卷積層CONV_E1、激活層RELU_E1、卷積層CONV_E2以及激活層RELU_E2；

所述圖像特征解碼單元包括依次連接的卷積層CONV_D1，激活層RELU_D1，卷積層CONV_D2，激活層RELU_D2。

5.如權(quán)利要求1所述的基于頻域量化損失估計(jì)的JPEG壓縮圖像復(fù)原方法，其特征在于，所述雙域壓縮損失修正單元中，特征提取器中的卷積層和卷積層C_D5的卷積核尺寸為1×1，個(gè)數(shù)為64。

6.如權(quán)利要求3所述的基于頻域量化損失估計(jì)的JPEG壓縮圖像復(fù)原方法，其特征在于，所述雙域壓縮損失修正單元中，卷積層C_D1、卷積層C_D3以及卷積層C_D4的卷積核尺寸均為3×3，個(gè)數(shù)為64，滑動(dòng)步長(zhǎng)為1，邊緣填充為1。