[發(fā)明專利]一種基于深度學(xué)習(xí)的欠曝光圖像恢復(fù)方法

有效

• 申請?zhí)枺?/td>: 202010881861.0
• 申請日: 2020-08-28
• 公開（公告）號: CN112001863B
• 公開（公告）日: 2023-06-16
• 發(fā)明（設(shè)計）人: 趙利軍;邊卓;史炳賢;王昊;任康;王安紅
• 申請（專利權(quán)）人: 太原科技大學(xué)
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/0464;G06N3/08
• 代理公司: 太原中正和專利代理事務(wù)所(普通合伙) 14116
• 代理人: 焦進(jìn)宇

1.一種基于深度學(xué)習(xí)的欠曝光圖像恢復(fù)方法，其特征在于，該欠曝光圖像恢復(fù)方法按以下步驟進(jìn)行：

（1）訓(xùn)練數(shù)據(jù)構(gòu)建

網(wǎng)絡(luò)訓(xùn)練前，選擇公開的包含大量從真實場景中捕獲的低/正常光照圖像對的“低光配對”數(shù)據(jù)集LOL作為訓(xùn)練樣本，該數(shù)據(jù)集由真實攝影對和原始圖像的合成對組成，真實攝影對采集在實際情況下的圖像的降級特征和特性，原始圖像的合成對在場景和對象多樣化方面有突出的優(yōu)勢，LOL數(shù)據(jù)集包含500個低/正常光照圖像對，其中的低光照圖像主要是通過更改相機(jī)的ISO和曝光時間進(jìn)行采集；

（2）使用多尺度分解網(wǎng)絡(luò)進(jìn)行多分辨率特征提取和特征圖分解

面向不同照度拍攝圖像的多尺度分解網(wǎng)絡(luò)Multiscale-Decom-Net的整體結(jié)構(gòu)是基于標(biāo)準(zhǔn)的U-Net而構(gòu)建的，首先進(jìn)行卷積網(wǎng)絡(luò)參數(shù)的設(shè)置，然后將訓(xùn)練數(shù)據(jù)集輸入網(wǎng)絡(luò)后通過編碼路徑下采樣自動提取圖像特征，解碼端使用最近鄰插值擴(kuò)大圖像尺寸以輸出多種分辨率的特征圖，然后逐個分解為反射圖與照明圖；

多尺度分解網(wǎng)絡(luò)主要由卷積層、最大池化層、反卷積層以及ReLU非線性激活函數(shù)組成；分解網(wǎng)絡(luò)的訓(xùn)練過程中，除了迭代地更新網(wǎng)絡(luò)的參數(shù)，在Multiscale-Decom-Net解碼端每進(jìn)行一次上采樣操作就輸出一幅特征圖，并根據(jù)Retinex理論分解為照明圖I-low和反射圖R-low，多次上采樣后即可輸出多分辨率照明/反射圖像對，然后將其輸入到調(diào)整網(wǎng)絡(luò)進(jìn)行后續(xù)處理；

分解網(wǎng)絡(luò)中還引入了跳躍連接，將上采樣路徑上卷積后的圖像與U型網(wǎng)絡(luò)下采樣路徑上對應(yīng)尺寸的特征圖進(jìn)行相加求和，再進(jìn)行后續(xù)的卷積操作，跳躍連接將深層的高級語義信息和淺層的局部細(xì)節(jié)信息結(jié)合起來，從而充分地利用低照度圖像的原始信息；

（3）使用面向圖像照明不均衡的多尺度亮度調(diào)整網(wǎng)絡(luò)進(jìn)行多尺度亮度增強(qiáng)

面向圖像照明不均衡的多尺度亮度調(diào)整網(wǎng)絡(luò)Multiscale-Enhance-Net的整體結(jié)構(gòu)是基于標(biāo)準(zhǔn)的U-Net模型，其將前一網(wǎng)絡(luò)輸出的成對反射圖和光照圖經(jīng)多次下采樣處理提取特征，然后使用上采樣調(diào)整特征后輸出多分辨率的照明調(diào)整特征圖；

調(diào)整網(wǎng)絡(luò)Multiscale-Enhance-Net的網(wǎng)絡(luò)結(jié)構(gòu)與分解網(wǎng)絡(luò)Multiscale-Decom-Net的網(wǎng)絡(luò)結(jié)構(gòu)是相似的，這里的主要區(qū)別在于前者的輸入變量有三對，分別是Multiscale-Decom-Net輸出端不同分辨率的反射圖像和照明圖像對，然后將其分別拼接后輸入增強(qiáng)網(wǎng)絡(luò)開始處理，經(jīng)過上采樣的特征提取和下采樣的特征融合完成輸入圖像的亮度增強(qiáng)，后者的輸出端將得到三副不同分辨率的特征圖；

（4）圖像重建網(wǎng)絡(luò)恢復(fù)光照圖像

將調(diào)整后的多分辨照明圖輸入到圖像重建網(wǎng)絡(luò)進(jìn)行恢復(fù)，得到和原圖尺度一樣的正常光照圖像；Multiscale-Enhance-Net輸出的三種分辨率的特征圖，將其輸入進(jìn)以ReLU為激活函數(shù)的卷積網(wǎng)絡(luò)中進(jìn)行融合處理，最后輸出正常光照的圖像；

（5）圖像恢復(fù)網(wǎng)絡(luò)中損失函數(shù)的定義

網(wǎng)絡(luò)中的損失函數(shù)包括正常光照圖像和欠曝光圖像的多尺度反射率損失、恢復(fù)圖像的多尺度照明平滑損失、多尺度重建損失；這里多尺度反射率損失保證在多個尺度上圖像反射率的一致性；多尺度照明平滑損失用以保證在多個尺度上恢復(fù)圖像的平滑度，這是由于一幅正常光照圖像不僅需要在紋理細(xì)節(jié)上保持平滑，而且需要保留整個圖像的結(jié)構(gòu)邊界信息；多尺度重建損失保證在多個尺度上圖像重建圖像和正常圖像的內(nèi)容一致性。

2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的欠曝光圖像恢復(fù)方法，其特征在于：

步驟（1）中，網(wǎng)絡(luò)訓(xùn)練開始之前，除了對訓(xùn)練樣本進(jìn)行分類處理，還需要進(jìn)行網(wǎng)絡(luò)訓(xùn)練參數(shù)和優(yōu)化器的配置，選擇Adam優(yōu)化器進(jìn)行算法優(yōu)化，設(shè)置網(wǎng)絡(luò)更新迭代次數(shù)為1000次，初始學(xué)習(xí)率為0.001，并在網(wǎng)絡(luò)訓(xùn)練到20代后，學(xué)習(xí)率減小10倍。

3.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的欠曝光圖像恢復(fù)方法，其特征在于：

步驟（5）中，將輸入的低/正常光照圖像與分解網(wǎng)絡(luò)和增強(qiáng)網(wǎng)絡(luò)輸出的多分辨率特征圖分別進(jìn)行比較并定義損失函數(shù)，本發(fā)明的多尺度分解網(wǎng)絡(luò)和多尺度增強(qiáng)網(wǎng)絡(luò)在輸出層都會輸出多分辨率圖像，這使得損失函數(shù)對不同尺度的特征圖都能給予約束，不僅讓網(wǎng)絡(luò)的訓(xùn)練速度得到了提高，而且讓訓(xùn)練的網(wǎng)絡(luò)具有更加優(yōu)秀的性能。