[發明專利]一種結合圖像增強與圖像融合的暗圖像復原迭代神經網絡方法

在審

• 申請號: 202210273798.1
• 申請日: 2022-03-19
• 公開（公告）號: CN114677450A
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 劉春曉;吳凡丁;王勛;周迪
• 申請（專利權）人: 浙江工商大學
• 主分類號: G06T7/90
• 分類號: G06T7/90;G06T7/187;G06T7/11;G06T5/50;G06T5/00;G06N3/08;G06N3/04
• 代理公司: 杭州中成專利事務所有限公司 33212
• 代理人: 朱瑩瑩

1.一種結合圖像增強與圖像融合的暗圖像復原迭代神經網絡方法，包括如下步驟：

步驟一：訓練數據生成：基于超像素塊，制作成對非均勻低光照圖像數據集；制作流程如下：

1)將輸入的長為H、寬為W的正常光照圖像I_normal，通過超像素分割算法得到同尺寸的單通道超像素標簽圖I_label；P_i∈[1，N]代表超像素標簽圖I_label中第i個像素的標簽值，i＝1，2，3，...，H×W，N是設定的超像素塊數量；超像素標簽圖I_label中相同標簽值的像素會形成連通區域，即超像素塊；

2)根據正常光照圖像I_normal對超像素標簽圖I_label中的超像素塊進行合并：計算超像素標簽圖I_label中的每個超像素塊在正常光照圖像I_normal中對應像素的顏色平均值，具體公式如下：

其中代表正常光照圖像I_normal中第j個超像素塊的像素顏色均值，C_i表示正常光照圖像I_normal第j個超像素塊中第i個像素的顏色值，N_j代表第j個超像素塊中的像素數量，j＝1，2，3，...，N；

根據閾值τ對相鄰的超像素塊進行合并：如果在圖像空間中相鄰超像素塊的像素顏色均值的差值小于閾值τ，將它們所包含的像素在超像素標簽圖I_label上的標簽值設為相同值；通過遍歷所有的超像素塊完成超像素塊的合并過程，合并后的超像素標簽圖I_label中有N_new個超像素塊；

3)對合并后的超像素塊進行隨機亮度調整；將正常光照圖像I_normal由RGB顏色空間轉換為HSV顏色空間，分別遍歷合并后的N_new個超像素塊并對其執行如下亮度調整操作：

其中，V_n代表正常光照圖像I_normal中第n個超像素塊的V亮度通道，V′_n代表經過隨機亮度調整后第n個超像素塊的亮度通道V，||表示或運算符；q是取值范圍在[0，2]的隨機數，當q＝0時，執行調亮操作，表示對V_n進行伽馬校正，其中γ₁∈[0.55，0.8]；當q＝1或q＝2時，執行調暗操作，表示先對V_n進行伽馬校正，其中γ₂∈[1.5，1.6]，再通過線性因子r∈[0.3，0.55]進一步進行線性調整；γ₁、γ₂、r均服從隨機均勻分布；對所有的超像素塊進行亮度調整后，得到調整后的亮度通道V′；

4)對隨機亮度調整后的亮度通道V′進行引導濾波操作，公式如下：

V′_gf＝GF(V′，V_normal，64，0.0001)

其中，V′_gf表示經過引導濾波后的亮度通道，GF(·，·，·，·)表示引導濾波操作，正常光照圖像I_normal的亮度通道V_normal作為引導濾波參考圖像，64是引導濾波核的邊長，0.0001是正則化參數；

5)將經過引導濾波后的亮度通道V′_gf與正常光照圖像I_normal的色度通道H_normal、飽和度通道S_normal進行合并，并從HSV顏色空間轉換到RGB顏色空間，得到非均勻低光照圖像I_dark：

I_dark＝HSV2RGB(H_normal，S_normal，V′_gf)

HSV2RGB(·，·，·)代表將HSV顏色空間轉換到RGB顏色空間；

步驟二：網絡框架設計：通過模擬低光照圖像到正常光照圖像的映射關系來實現圖像的光照增強和復原，實施步驟為：

(1)參照圖1，設計基于7層卷積層和激活函數的輕量級拉伸系數估計網絡N₁：

其中在N₁的第一層和第七層、第二層和第六層、第三層和第五層之間加入了跳躍鏈接，采用的激活函數為ReLU，公式為：

K＝N₁(I_dark)

K為拉伸系數估計網絡N₁得到的拉伸系數圖；

(2)通過點乘的方式將輸入圖像I_dark和拉伸系數圖K進行結合，得到初始增強結果，公式為：

E為本次迭代的初始增強結果，是點乘算子；

(3)將初始增強結果E和輸入圖像I_dark輸入融合網絡N₂，如圖2；融合網絡N₂首先通過權重共享的編碼器En獲取初始增強結果E和輸入圖像I_dark的潛層特征，再通過解碼器De得到本次迭代的最終增強結果，公式如下：

E′＝N₂(I_dark，E)

其中，E′是本次迭代的最終增強結果，N₂(·，·)為融合網絡的表達形式，En(·)和De(·)分別為編碼器和解碼器的表達形式，表示特征堆疊；

(4)使用本次迭代得到的最終增強結果E′代替輸入圖像I_dark，作為下一次迭代的輸入圖像，重復步驟(1)至(3)共n次，得到本發明的最終增強結果E′_n；整個網絡的流程可以表示為：

本發明將迭代次數n設置為3。

步驟三：圖像預處理：將正常光照圖像I_normal作為非均勻低光照圖像I_dark的真實標簽圖像；將非均勻低光照圖像I_dark及其對應的真實標簽圖像I_normal作為訓練數據，將其RGB三通道的顏色值歸一化至[0，1]的范圍，截取規定大小的圖像塊作為訓練樣本；

步驟四：訓練參數設置：在訓練階段只針對最后一輪的結果加以損失函數約束，訓練時使用的優化器為Adam，學習率設置為0.0001，總共訓練400輪次，樣本批處理的參數設置為8；

步驟五：訓練模型：將步驟一合成的訓練圖像對輸入模型，并輸出增強后的圖像，通過損失函數計算損失，進行模型參數調優；

所述步驟五是在深度學習框架pytorch上實現和訓練的；

所述模型解碼器De的輸出為與輸入低光照圖像對應的增強結果，這些增強結果具有和訓練輸入圖像相同的尺寸(256×256)，每個輸出受與之相對應的損失函數的約束，整個網絡的損失函數表達式為：

其中表示網絡整體的損失函數，和分別表示重建損失、感知損失、結構損失和顏色損失；

為基于平均絕對誤差的重建損失函數，公式為：

其中E′_n和I_normal分別為最終增強結果和其對應的真實標簽圖像，|·|₁為平均絕對誤差函數；

為感知損失，本發明根據預訓練VGG-16網絡的ReLU激活層的輸出定義了感知損失，具體形式如下：

其中φ_ij(·)表示使用預訓練VGG-16網絡中第i個卷積塊第j個卷積層提取圖像的特征圖，w_ij、h_ij和c_ij為特征圖φ_ij在x、y和z三個維度上的長度，||·||₂為均方誤差函數；

為結構損失，具體形式為：

其中，SSIM(·，·)為結構相似性算子，即

其中μ(E′_n)和μ(I_normal)分別是最終增強結果E′_n和其對應真實標簽圖像I_normal的平均像素顏色值；σ(E′_n)²和σ(I_normal)²分別是最終增強結果E′_n和其對應真實標簽圖像I_normal的像素顏色方差，σ(E′_n，I_normal)是最終增強結果E′_n和其對應真實標簽圖像I_normal的像素顏色協方差；c₁和c₂是防止分母為零的兩個常數，設置為0.000001；

為顏色損失，用于保持增強圖像的顏色，具體形式如下：

其中(E′_n)_p和(I_normal)_p分別為最終增強結果E′_n及其對應的真實標簽圖像I_normal上第p個像素的顏色值，M為像素總數；∠(·，·)是一個算子，它將像素的RGB顏色視為三維向量，計算兩個像素顏色向量之間的夾角大?。?/p>

步驟五得到的結果通過深度學習框架庫提供的反向傳播算法進行網絡參數更新；

步驟五輸出的結果收斂時，步驟五停止；

步驟六：對低光照圖像進行測試，得到與輸入圖像大小一致的增強圖像，將其重新映射到[0，255]之間，得到增強結果圖。