[發明專利]一種端到端抗塊效應低照度圖像增強方法

有效

• 申請號: 202110056964.8
• 申請日: 2021-01-15
• 公開（公告）號: CN112819707B
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 王正寧;曾儀;彭大偉;曾浩;劉怡君;馮妤婕
• 申請（專利權）人: 電子科技大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06T7/10;G06T9/00;G06N3/08
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 閆樹平

1.一種端到端抗塊效應低照度圖像增強方法，其特征在于，包括下列步驟：

步驟S1、構造訓練數據集：為了訓練端到端圖像增強網絡，構造訓練數據集，該訓練數據集是由多個數據對組成的序列集，每個數據對是由低照度圖像和低照度圖像對應的真值圖像組成，其中真值圖指的是正常照度圖像；

步驟S2、數據處理：使用有損壓縮技術壓縮訓練數據集中的所有低照度圖像，保持真值圖像的圖像質量；并根據使用需求將處理好的數據集分成測試數據和訓練數據；

步驟S3、構建端到端圖像增強網絡：端到端圖像增強網絡輸入為壓縮低照度圖像，輸出為增強圖像；端到端圖像增強網絡包括增強主干網絡和去塊分支網絡；

所述增強主干網絡是以卷積層作為基本單元的U型編解碼網絡，其中編碼網絡輸入壓縮低照度圖像，輸出卷積特征圖；解碼網絡輸入卷積特征圖，輸出網絡預測圖像；在U型編解碼網絡中，編碼網絡的卷積特征圖和與之相同維度的解碼網絡的卷積特征圖進行跳躍連接；

所述去塊分支網絡是由一個卷積核尺寸為8×8的卷積組和一個卷積核尺寸為(8+ε)×(8+ε)的卷積組構成；其中，ε為兩組卷積核的尺寸差，ε的取值范圍為1～8的整數；去塊分支網絡輸入壓縮低照度圖像，輸出用于補償卷積特征圖的塊邊界補償圖；

步驟S4、訓練：將訓練數據送入端到端圖像增強網絡，進行端到端的增強訓練；同時通過損失函數對端到端圖像增強網絡進行優化，得到完成訓練的端到端圖像增強網絡；端到端的增強網絡訓練的具體過程如下：

編碼網絡對輸入的壓縮低照度圖像通過一個3×3卷積后，再通過3×3卷積+maxpooling+Relu激活函數來對特征進行下采樣，一共下采樣n次，每個maxpooling的下采樣倍數為2；解碼網絡通過resize+3×3卷積進行上采樣，一共上采樣n次，每次resize的上采樣倍數為2，最后通過1×1卷積融合不同層次的卷積特征圖，輸出網絡預測圖像；

去塊分支網絡輸入的壓縮低照度圖像先通過卷積核尺寸分別為8×8和(8+ε)×(8+ε)的卷積組計算出卷積結果殘差，再通過Tanh激活函數，得到塊邊界補償圖，通過塊邊界補償圖對編碼網絡輸出的卷積特征圖相加實現對壓縮低照度圖像的補償；

通過損失函數對端到端圖像增強網絡進行優化的具體內容如下：

步驟S401、使用均方誤差損失函數L_MSE＝||I_pre-I_gt||最小化網絡預測圖與真值圖的均方二范數差值；其中，||·||為2范數，I_pre為網絡預測圖，I_gt為真值圖；

步驟S402、計算壓縮圖片的塊邊界差值損失，采用邊界差值損失函數來平滑塊邊界；所述邊界差值損失的計算步驟包括：

將一張壓縮圖像劃分為M×N個8×8塊，確定出位于垂直邊界上的像素點和位于水平邊界上的像素點；在該圖像中，所述像素點表示為P(x,y)(0≤x≤8M,0≤y≤8N)；其中，位于垂直邊界上的像素包括P(8i-1,y),P(8i,y)(i＝1,2,…,M-1)；位于水平邊界上的像素包括P(x,8j-1),P(x,8j)(j＝1,2,…,N-1)；然后，根據垂直邊界上的像素點和水平邊界上的像素點計算出損失值

步驟S403、構建一個塊特征提取網絡，分別提取網絡預測圖的塊特征F_p和真值圖的塊特征F_g；根據網絡預測圖的塊特征F_p和真值圖的塊特征F_g計算出網絡預測圖與真值圖之間的塊相似損失函數L_bs＝||S(F_p)-S(F_g)||²；

步驟S404、采用結構相似性SSIM構造結構相似損失L_s,結構相似損失L_s＝1-SSIM(I_pre,I_gt)，其中，SSIM(I_pre,I_gt)表示I_pre與I_gt的結構相似性；

步驟S405、通過計上述步驟計算出的L_MSE、L_bgrad、L_bs、L_s送入端到端網絡，調整端到端網絡訓練參數；并通過最小化以下損失函數L_total優化網絡模型：

L_total＝L_MSE+ω_bgradL_bgrad+ω_bsL_bs+ω_sL_s，其中ω_bgrad、ω_bs和ω_s表示權重系數；

步驟S5、測試：將測試數據輸入完成訓練的端到端圖像增強網絡得到最終的增強圖像。

2.根據權利要求1所述的一種端到端抗塊效應低照度圖像增強方法，其特征在于：所述步驟S2中對訓練數據集處理步驟還包括：

采用每間隔i個像素裁剪一次的方式，沿塊邊界對低照度圖和對應的真值圖進行裁剪，得到目標尺寸的低照度圖像和真值圖像目標尺寸圖像；對低照度圖像和真值圖像的裁剪方式一致。