[發明專利]一種端到端抗塊效應低照度圖像增強方法

有效

• 申請號: 202110056964.8
• 申請日: 2021-01-15
• 公開（公告）號: CN112819707B
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 王正寧;曾儀;彭大偉;曾浩;劉怡君;馮妤婕
• 申請（專利權）人: 電子科技大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06T7/10;G06T9/00;G06N3/08
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 閆樹平

本發明屬于圖像增強領域，具體為一種端到端抗塊效應低照度圖像增強方法。本發明的方法采用先將收集的數據進行處理后分成測試數據和訓練數據兩類；再通過構建一個端到端圖像增強網絡結構，將訓練數據輸入到端到端網絡結構中進行多輪訓練。在訓練過程中，采用最小化網絡預測圖與真值圖的均方二范數差值、計算壓縮圖像的邊界損失平滑塊邊界；并計算出網絡預測圖與真值圖的塊相似損失值、構造結構相似損失值進行端到端網絡的參數調整，優化網絡結構，得到完成訓練的端到端圖像增強網絡；然后將測試數據輸入訓練好的端到端圖像增強網絡結構中，得到最終的增強圖像。與現有技術相比，本發明提供的方法解決了有損壓縮低照度像塊效應被放大的問題。

技術領域

本發明屬于圖像增強領域，尤其涉及一種端到端抗塊效應低照度圖像增強方法。

背景技術

良好的光照是保證圖像質量的一個重要因素，當圖像從低照度環境中捕獲得到或者得到的圖像為欠曝光圖像時，一般存在亮度低、對比度低、細節信息模糊等缺點，需要對其進行亮度增強處理以獲得更好的視覺效果。低照度圖像增強通過變換數據，有選擇地突出圖像中感興趣的特征或者抑制圖像中某些不需要的特征，使圖像與視覺響應特性相匹配，既可以有效提升圖像視頻的視覺觀感，也可以為目標檢測、跟蹤等視覺處理應用提供一個良好的預處理基礎。在實際應用中，由于原始圖像視頻數據量龐大，在傳輸之前會對圖像進行必要的編碼壓縮。圖像視頻的壓縮雖然有效去除了空間和時間冗余，減小了圖像視頻的數據量，但不可避免地會產生塊效應。由于現有的低照度圖像增強技術，在對低照度圖像進行圖像增強處理時，均未考慮低照度圖像壓縮產生的塊效應問題，因此，低照度圖像壓縮后經過現有的低照度增強算法處理后，壓縮塊效應很容易被放大，帶來極差的視覺體驗和內容破壞。隨著互聯網視頻的普及和流行，低照度圖像視頻在傳播過程中會受到多次編碼壓縮，增強后的畫面塊效應會更加明顯，視覺體驗效果變差。因此，業界迫切需要有效的智能增強算法來解決低照度圖像視頻的增強。

發明內容

本發明的目的在于：提供一種端到端抗塊效應低照度圖像增強方法，以用于解決現有技術中存在壓縮圖像增強過程中塊效應被放大的技術問題。

為實現上述目的，本發明采取如下技術方案：

一種端到端抗塊效應低照度圖像增強方法，包括下列步驟：

步驟S1、構造訓練數據集：為了訓練端到端圖像增強網絡，構造訓練數據集，該訓練數據集是由多個數據對組成的序列集，每個數據對是由低照度圖像和低照度圖像對應的真值圖像組成，其中真值圖指的是正常照度圖像；

步驟S2、數據處理：使用有損壓縮技術壓縮訓練數據集中的所有低照度圖像，保持真值圖像的圖像質量；并根據使用需求將處理好的數據集分成測試數據和訓練數據；

步驟S3、構建端到端圖像增強網絡：端到端圖像增強網絡輸入為壓縮低照度圖像，輸出為增強圖像；端到端圖像增強網絡包括增強主干網絡和去塊分支網絡；

所述增強主干網絡是以卷積層作為基本單元的U型編解碼網絡，其中編碼網絡輸入壓縮低照度圖像，輸出卷積特征圖；解碼網絡輸入卷積特征圖，輸出網絡預測圖像；在U型編解碼網絡中，編碼網絡的卷積特征圖和與之相同維度的解碼網絡的卷積特征圖進行跳躍連接；

所述去塊分支網絡是由一個卷積核尺寸為8×8的卷積組和一個卷積核尺寸為(8+ε)×(8+ε)的卷積組構成；其中，ε為兩組卷積核的尺寸差，ε的取值范圍為1～8的整數；去塊分支網絡輸入壓縮低照度圖像，輸出用于補償卷積特征圖的塊邊界補償圖。

步驟S4、訓練：將訓練數據送入端到端圖像增強網絡，進行端到端的增強訓練；同時通過損失函數對端到端圖像增強網絡進行優化，得到完成訓練的端到端圖像增強網絡。

步驟S5、測試：將測試數據輸入完成訓練的端到端圖像增強網絡得到最終的增強圖像。