[發明專利]基于生成對抗網絡的無參考低光照圖像增強方法及系統

有效

• 申請號: 202010700648.5
• 申請日: 2020-07-20
• 公開（公告）號: CN111798400B
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 牛玉貞;宋冰蕊;吳建斌;劉文犀
• 申請（專利權）人: 福州大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/90;G06N3/04;G06N3/08
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 丘鴻超;蔡學俊

本發明涉及一種基于生成對抗網絡的無參考低光照圖像增強方法及系統，該方法包括以下步驟：分別對原始分辨率的低光照圖像和正常光照圖像進行預處理，得到用于訓練的不成對的低光照圖像塊和正常光照圖像塊；構建用于低光照增強的生成器網絡和用于進行對抗訓練的判別器網絡；使用低光照圖像塊和正常光照圖像塊交替訓練生成器網絡和判別器網絡收斂到納什平衡；將用于測試的原始低光照圖像輸入訓練好的生成器網絡預測其增強后的圖像。該方法及系統有利于提高低光照圖像增強的質量。

技術領域

本發明屬于圖像和視頻處理技術領域，特別涉及一種基于生成對抗網絡的無參考低光照圖像增強方法及系統。

背景技術

隨著拍攝設備越來越普及且便攜，人們可以拍攝到視覺效果好的圖像。但是在光線不足的場景下，如夜景或昏暗的室內，要得到視覺效果良好的攝影圖像仍然是十分困難的。由于場景光線不足或背光拍攝，捕獲到的圖像會呈現曝光不足，這類圖像被稱作低光照圖像。低光照圖像中的某些區域幾乎看不到圖像細節。低光照圖像不僅呈現較低視覺效果，而且會影響許多基本的計算機視覺和圖像處理方法的性能，如圖像分類、圖像顯著性檢測、對象檢測和識別等。

目前，基于深度學習的圖像增強方法通常能獲得比其它方法更好的結果。但是基于深度學習的圖像增強方法，普遍需要使用成對的圖像對進行訓練。然而，在低光照圖像增強問題上，獲得可用于深度學習模型訓練的成對數據集是很困難的。現有的低光照圖像增強方法大多使用合成的成對低光照圖像數據集，由于合成數據集于真實圖像存在差異，導致使用合成數據集訓練的方法在真實場景下圖像增強能力無法得到保證。

發明內容

本發明的目的在于提供一種基于生成對抗網絡的無參考低光照圖像增強方法及系統，該方法及系統有利于提高低光照圖像增強的質量。

為實現上述目的，本發明采用的技術方案是：一種基于生成對抗網絡的無參考低光照圖像增強方法，包括以下步驟：

分別對原始分辨率的低光照圖像和正常光照圖像進行預處理，得到用于訓練的不成對的低光照圖像塊和正常光照圖像塊；

構建用于低光照增強的生成器網絡和用于進行對抗訓練的判別器網絡；

使用低光照圖像塊和正常光照圖像塊交替訓練生成器網絡和判別器網絡收斂到納什平衡；

將用于測試的原始低光照圖像輸入訓練好的生成器網絡預測其增強后的圖像。

進一步地，對原始分辨率的低光照圖像和正常光照圖像進行預處理的具體方法為：

分別將原始分辨率的低光照圖像、正常光照圖像在隨機位置上進行切塊，其中切塊大小隨機選取128×128到320×320之間的正方形尺寸，然后將得到的切塊統一縮小到128×128大小，作為訓練用的低光照圖像塊和正常光照圖像塊；

分別將得到的低光照圖像塊和正常光照圖像塊進行隨機的旋轉和翻轉，并且使用如下公式縮放圖像的像素范圍，得到用于訓練的不成對的低光照圖像塊和正常光照圖像塊數據集；

其中，I^ori為像素值范圍處于[0,255]的原始圖像，I是經過縮放后像素范圍處于[-1,1]的圖像。

進一步地，構建用于低光照增強的生成器網絡的具體方法為：

生成器網絡采用U-Net結構，包含編碼器和解碼器兩部分，分別包含3次下采樣提取圖像特征和3次上采樣還原輸出圖像，并將各尺度的編碼器輸出特征跳連到解碼器部分對應層的輸入中；其中編碼器的下采樣由步長為2、卷積核大小為3×3的卷積操作完成，解碼器的上采樣由最近鄰插值的方式進行；在編碼器部分，使用卷積、批歸一化和帶泄漏修正線性單元Leaky ReLU激活進行圖像特征提取；在解碼器部分，使用卷積、層歸一化、LeakyReLU激活和上采樣操作來還原增強圖像；