[發(fā)明專利]基于派生圖和Retinex的深度網(wǎng)絡(luò)圖像增強(qiáng)方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010156373.3
• 申請(qǐng)日: 2020-03-09
• 公開（公告）號(hào): CN111489321B
• 公開（公告）日: 2020-11-03
• 發(fā)明（設(shè)計(jì)）人: 莊立運(yùn);季仁東;王曉暉;居勇峰
• 申請(qǐng)（專利權(quán)）人: 淮陰工學(xué)院
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50;G06T5/00;G06N3/08;G06N3/04
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 常虹

本發(fā)明公開了一種基于派生圖和Retinex的深度網(wǎng)絡(luò)圖像增強(qiáng)方法和系統(tǒng)。其中圖像增強(qiáng)方法利用深度分解網(wǎng)絡(luò)將輸入圖像分解為反射圖像和亮度圖像，采用深度增強(qiáng)圖像對(duì)輸入圖像的亮度圖像進(jìn)行增強(qiáng)；同時(shí)，采用快速均值濾波對(duì)輸入圖像的反射圖像進(jìn)行處理，去除輸入圖像中的噪聲；此外，對(duì)輸入圖像對(duì)比度低、整體亮度低、暗區(qū)細(xì)節(jié)模糊的問題，采用生成派生圖進(jìn)行處理；最后采用融合策略將派生圖、濾波后的反射圖像、增強(qiáng)后的亮度圖像進(jìn)行融合，得到輸入的低亮度圖像的增強(qiáng)圖像。該方法將淺層的圖像派生圖和深度學(xué)習(xí)網(wǎng)絡(luò)得到的深層增強(qiáng)圖進(jìn)行融合，實(shí)現(xiàn)對(duì)低光照?qǐng)D像的增強(qiáng)。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體涉及一種基于派生圖和Retinex的深度網(wǎng)絡(luò)圖像增強(qiáng)方法，以及應(yīng)用該方法的圖像增強(qiáng)系統(tǒng)。

背景技術(shù)

近年來，隨著圖像增強(qiáng)技術(shù)在醫(yī)學(xué)領(lǐng)域、智能交通、智能身份認(rèn)證和衛(wèi)星遙感成像等諸多關(guān)系國計(jì)民生的領(lǐng)域越來越廣泛的應(yīng)用，推動(dòng)了圖像增強(qiáng)領(lǐng)域技術(shù)和方法的不斷進(jìn)步。針對(duì)弱光照條件下采集到的圖像對(duì)比度低，整體亮度偏低和暗區(qū)域細(xì)節(jié)模糊等問題，我們可以采用基于深度學(xué)習(xí)的圖像增強(qiáng)方法。采用淺層圖像增強(qiáng)方法獲取弱光照條件下的圖像派生圖，利用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)光照分量進(jìn)行訓(xùn)練學(xué)習(xí)，通過訓(xùn)練學(xué)習(xí)低光照?qǐng)D像和正常光照?qǐng)D像之間的亮度分量，獲取端到端的映射關(guān)系，實(shí)現(xiàn)經(jīng)深度增強(qiáng)網(wǎng)絡(luò)的圖像增強(qiáng)。

近年來，出現(xiàn)了一些基于深度學(xué)習(xí)的圖像增強(qiáng)算法，深度學(xué)習(xí)算法不僅具有更加強(qiáng)大的學(xué)習(xí)能力，而且其在自動(dòng)特征提取上也具有顯著的特征表達(dá)能力。傳統(tǒng)的圖像增強(qiáng)算法對(duì)先驗(yàn)知識(shí)具有較強(qiáng)的依賴性，獲取圖像特征需要根據(jù)圖像成像的特點(diǎn)或者復(fù)雜的數(shù)學(xué)公式推理來完成。與傳統(tǒng)算法相比，深度學(xué)習(xí)算法在特征提取過程中，不需依賴基于手工設(shè)計(jì)的算法，可以直接端對(duì)端的訓(xùn)練和得到輸出結(jié)果。雖然深度學(xué)習(xí)算法在特征提取和數(shù)學(xué)建模上較傳統(tǒng)方法有明顯的優(yōu)勢(shì)，但是目前利用深度學(xué)習(xí)方法對(duì)圖像增強(qiáng)仍然存在一些問題，主要表現(xiàn)在：深度學(xué)習(xí)方法圖像增強(qiáng)訓(xùn)練數(shù)據(jù)集缺乏，目前沒有包含弱光照和與之對(duì)應(yīng)的正常光照?qǐng)D像公共數(shù)據(jù)集，導(dǎo)致訓(xùn)練數(shù)據(jù)集不統(tǒng)一。此外，部分深度模型對(duì)不同場景下圖像增強(qiáng)的魯棒性較差，如何有效對(duì)不同場景下采集的光照不均勻圖像進(jìn)行有效增強(qiáng)，尚存在諸多難點(diǎn)和挑戰(zhàn)。

發(fā)明內(nèi)容

發(fā)明目的：本發(fā)明旨在提供一種圖像增強(qiáng)方法，該方法將淺層的圖像派生圖和深度學(xué)習(xí)網(wǎng)絡(luò)得到的深層增強(qiáng)圖進(jìn)行融合，實(shí)現(xiàn)對(duì)低光照?qǐng)D像的增強(qiáng)。

技術(shù)方案：本發(fā)明一方面公開了一種基于派生圖和Retinex的深度網(wǎng)絡(luò)圖像增強(qiáng)方法，包括訓(xùn)練階段和增強(qiáng)階段，所述訓(xùn)練階段的步驟包括：

(1)構(gòu)建深度分解網(wǎng)絡(luò)，所述深度分解網(wǎng)絡(luò)包括正常光照?qǐng)D像分解分支和低光照?qǐng)D像分解分支，所述正常光照?qǐng)D像分解分支用于將輸入的正常光照?qǐng)D像分解為正常光照反射圖像和正常光照亮度圖像；所述低光照?qǐng)D像分解分支用于將輸入的低光照?qǐng)D像分解為低光照反射圖像和低光照亮度圖像；

所述正常光照?qǐng)D像分解分支和低光照?qǐng)D像分解分支的結(jié)構(gòu)和參數(shù)都相同，均包括依次連接的第一卷積層、第二卷積子網(wǎng)、第三卷積層；所述第一卷積層的卷積核大小為3×3；所述第二卷積子網(wǎng)由5個(gè)卷積核大小為3×3的卷積層依次連接組成，每個(gè)卷積層后連接ReLU激活函數(shù)；所述第三卷積層后連接Sigmoid激活函數(shù)；

(2)建立深度分解網(wǎng)絡(luò)訓(xùn)練樣本集，所述深度分解網(wǎng)絡(luò)訓(xùn)練樣本集中的樣本為正常光照?qǐng)D像和與所述正常光照?qǐng)D像對(duì)應(yīng)的低光照?qǐng)D像

將所述樣本中的正常光照?qǐng)D像輸入深度分解網(wǎng)絡(luò)中的正常光照?qǐng)D像分解分支，將所述樣本中的低光照?qǐng)D像輸入深度分解網(wǎng)絡(luò)中的低光照?qǐng)D像分解分支，對(duì)所述深度分解網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

所述訓(xùn)練為通過最小化第一損失函數(shù)優(yōu)化深度分解網(wǎng)絡(luò)的參數(shù)W_d，所述第一損失函數(shù)為：