[發明專利]基于生成對抗網絡的無參考低光照圖像增強方法及系統

有效

• 申請號: 202010700648.5
• 申請日: 2020-07-20
• 公開（公告）號: CN111798400B
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 牛玉貞;宋冰蕊;吳建斌;劉文犀
• 申請（專利權）人: 福州大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/90;G06N3/04;G06N3/08
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 丘鴻超;蔡學俊

1.一種基于生成對抗網絡的無參考低光照圖像增強方法，其特征在于，包括以下步驟：

分別對原始分辨率的低光照圖像和正常光照圖像進行預處理，得到用于訓練的不成對的低光照圖像塊和正常光照圖像塊；

構建用于低光照增強的生成器網絡和用于進行對抗訓練的判別器網絡；

使用低光照圖像塊和正常光照圖像塊交替訓練生成器網絡和判別器網絡收斂到納什平衡；

將用于測試的原始低光照圖像輸入訓練好的生成器網絡預測其增強后的圖像；

構建的判別器網絡包括全局判別器網絡和局部判別器網絡，使用低光照圖像塊和正常光照圖像塊交替訓練生成器網絡和判別器網絡收斂到納什平衡，具體包括以下步驟：

將低光照圖像塊隨機劃分為多個批次，每個批次包含N個圖像塊；

將正常光照圖像塊隨機劃分為多個批次，每個批次包含N個圖像塊；

將低光照圖像塊按批次輸入生成器網絡得到增強圖像塊，將增強圖像塊和正常光照圖像塊按批次分別輸入全局判別器網絡和局部判別器網絡得到判別結果；

根據生成器網絡的總目標損失函數，使用反向傳播方法計算生成器網絡中各參數的梯度，并利用隨機梯度下降方法更新生成器網絡的參數；

根據判別器網絡的總目標損失函數，使用反向傳播方法計算全局判別器網絡和局部判別器網絡中各參數的梯度，并利用隨機梯度下降方法更新全局判別器網絡和局部判別器網絡的參數；

以批次為單位重復進行上述步驟，直至生成器網絡的目標損失函數數值和判別器網絡的目標損失函數數值收斂到納什平衡，保存網絡參數，完成生成器和判別器網絡訓練過程。

2.根據權利要求1所述的基于生成對抗網絡的無參考低光照圖像增強方法，其特征在于，對原始分辨率的低光照圖像和正常光照圖像進行預處理的具體方法為：

分別將原始分辨率的低光照圖像、正常光照圖像在隨機位置上進行切塊，其中切塊大小隨機選取128×128到320×320之間的正方形尺寸，然后將得到的切塊統一縮小到128×128大小，作為訓練用的低光照圖像塊和正常光照圖像塊；

分別將得到的低光照圖像塊和正常光照圖像塊進行隨機的旋轉和翻轉，并且使用如下公式縮放圖像的像素范圍，得到用于訓練的不成對的低光照圖像塊和正常光照圖像塊數據集；

其中，I^ori為像素值范圍處于[0,255]的原始圖像，I是經過縮放后像素范圍處于[-1,1]的圖像。

3.根據權利要求2所述的基于生成對抗網絡的無參考低光照圖像增強方法，其特征在于，構建用于低光照增強的生成器網絡的具體方法為：

生成器網絡采用U-Net結構，包含編碼器和解碼器兩部分，分別包含3次下采樣提取圖像特征和3次上采樣還原輸出圖像，并將各尺度的編碼器輸出特征跳連到解碼器部分對應層的輸入中；其中編碼器的下采樣由步長為2、卷積核大小為3×3的卷積操作完成，解碼器的上采樣由最近鄰插值的方式進行；在編碼器部分，使用卷積、批歸一化和帶泄漏修正線性單元Leaky ReLU激活進行圖像特征提取；在解碼器部分，使用卷積、層歸一化、Leaky ReLU激活和上采樣操作來還原增強圖像；

通過卷積子網絡將輸入的低光照圖像編碼成具有全局語義信息的潛在編碼，使用潛在編碼對編碼器部分最后的輸出特征進行自適應實例歸一化，以實現適應不同亮度的輸入低光照圖像的特征調整；

分別將多尺度權重圖與解碼器的每層輸出特征進行自注意力融合，通過將權重圖融合到解碼器特征中，以實現強化低光照區域的特征表達。