[發(fā)明專利]一種基于雪模型和深度學(xué)習(xí)融合的圖像去雪算法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910144449.8
• 申請(qǐng)日: 2019-02-27
• 公開（公告）號(hào): CN111275627B
• 公開（公告）日: 2023-04-11
• 發(fā)明（設(shè)計(jì)）人: 田建東;尹赫;李鵬越;唐延?xùn)|
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院沈陽(yáng)自動(dòng)化研究所
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06T3/00
• 代理公司: 沈陽(yáng)科苑專利商標(biāo)代理有限公司 21002
• 代理人: 許宗富

本發(fā)明涉及一種基于雪模型和深度學(xué)習(xí)融合的圖像去雪算法。針對(duì)雪天氣影響共融機(jī)器人視覺系統(tǒng)魯棒性的問(wèn)題，首先根據(jù)雪的成像過(guò)程推導(dǎo)了一個(gè)簡(jiǎn)化的雪模型，然后設(shè)計(jì)了一個(gè)基于該模型的圖像深度去雪網(wǎng)絡(luò)，該網(wǎng)絡(luò)由雪花檢測(cè)子網(wǎng)絡(luò)和去除子網(wǎng)絡(luò)串聯(lián)組成。雪花檢測(cè)子網(wǎng)絡(luò)采用了殘差學(xué)習(xí)網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以準(zhǔn)確地學(xué)習(xí)雪圖像和無(wú)雪圖像之間的差異。去雪子網(wǎng)絡(luò)采用了密集連接的U網(wǎng)絡(luò)。它一方面利用U?net保留背景的細(xì)節(jié)信息，另一方面利用DenseNet將低層特征復(fù)用到高層的特點(diǎn)來(lái)提高去雪的準(zhǔn)確度，將它們結(jié)合后緩解了去雪過(guò)度導(dǎo)致背景細(xì)節(jié)丟失和去雪不徹底之間的矛盾。實(shí)驗(yàn)證明這種基于雪模型的深度去雪網(wǎng)絡(luò)能夠較好地檢測(cè)和去除圖像中的雪花。

技術(shù)領(lǐng)域

本發(fā)明涉及一種圖像處理算法，具體說(shuō)是一種基于雪模型和深度學(xué)習(xí)融合的圖像去雪算法。

背景技術(shù)

通常，壞天氣會(huì)造成圖像退化，進(jìn)而降低計(jì)算機(jī)視覺系統(tǒng)的魯棒性。同時(shí)，壞天氣也會(huì)對(duì)人類的視覺帶來(lái)一定的麻煩，例如，人在雨雪天氣中開車，很容易造成交通事故。壞天氣條件一般分為兩類：靜態(tài)(霧、霾)和動(dòng)態(tài)(雨、雪)，靜態(tài)壞天氣通常由漂浮于空中的小顆粒造成，它們主要降低了圖像的清晰度。動(dòng)態(tài)的壞天氣通常由隨機(jī)運(yùn)動(dòng)的大顆粒造成，它們使圖像部分遮擋。所以靜態(tài)壞天氣條件下圖像的復(fù)原主要是提高圖像的清晰度，而動(dòng)態(tài)天氣條件下圖像的復(fù)原主要是補(bǔ)全被顆粒遮擋的部分。

近年來(lái)，許多去雨和去霧算法已經(jīng)被提出，因?yàn)檠┗ㄌ卣鞯膹?fù)雜性，例如各種各樣的大小、形狀、不均勻的密度、分布和低的透明度，相比于霧和雨的去除，雪的去除更加困難。Xu?Jing等人使用引導(dǎo)濾波器獲得引導(dǎo)圖來(lái)引導(dǎo)雨雪的去除。引導(dǎo)濾波器的超參數(shù)通常適用于一種類型的雪，這些參數(shù)可能適用于低透明度的雪，但它們對(duì)于不透明的雪是無(wú)效的。Soo-Chang?Pei等人分析了雨雪圖像的顏色和頻率特征，認(rèn)為雨雪位于高頻和明亮的區(qū)域。該方法首先提取圖像的高頻部分，然后使用強(qiáng)度先驗(yàn)檢測(cè)雨雪，最后，通過(guò)引導(dǎo)濾波器恢復(fù)雨雪圖像。這種方法僅使用亮度先驗(yàn)來(lái)檢測(cè)雨雪，很可能將背景中亮的區(qū)域誤檢為雨雪。Zheng?Xianhui等人也假設(shè)雨雪分布在圖像的高頻部分。該方法利用引導(dǎo)濾波器將高頻部分分解為背景邊緣和雨雪，并將低頻部分作為引導(dǎo)圖像來(lái)引導(dǎo)去雨雪。這些方法都假設(shè)雪繼承了雨的特征，例如：頻域分布，色彩空間和邊緣特征，而忽略了雪的獨(dú)有特征，如透明度、形狀、尺寸、軌跡和分布。因此，這些基于先驗(yàn)的去雨雪方法只能去除一些窄的雪條紋和半透明的雪花，它們通常不能夠去除寬而不透明的雪花。近年來(lái)出現(xiàn)了一些基于深度學(xué)習(xí)去雨的算法，而這些方法同樣只能去掉半透明和窄的雪花。

發(fā)明內(nèi)容

針對(duì)上述技術(shù)不足，本發(fā)明的目的提供一種基于雪模型和深度學(xué)習(xí)融合的圖像去雪算法，算法從雪的模型出發(fā)，設(shè)計(jì)了一種新的檢測(cè)和去除雪的深度學(xué)習(xí)網(wǎng)絡(luò)。該方法不僅可以去除雪圖像中半透明的雪花，也可以相當(dāng)程度上去除寬而不透明的雪花。

本發(fā)明為實(shí)現(xiàn)上述目的所采用的技術(shù)方案是：一種基于雪模型和深度學(xué)習(xí)融合的圖像去雪算法，包括以下步驟：

根據(jù)雪的成像過(guò)程建立雪模型I_s＝S+K*I_b；其中I_s是帶雪圖像，S是反映雪花位置和透明度信息的雪花層，I_b是去雪后的無(wú)雪背景層圖像，K為背景衰減系數(shù)，K＝1-τ/T，其中T為相機(jī)曝光時(shí)間，雪花通過(guò)某一像素的時(shí)間為τ；

采集圖像、合成雪花，并合成帶雪圖像存儲(chǔ)至數(shù)據(jù)庫(kù)；

建立由雪花檢測(cè)子網(wǎng)絡(luò)、雪花去除子網(wǎng)絡(luò)串聯(lián)組成深度去雪網(wǎng)絡(luò)：采用殘差學(xué)習(xí)網(wǎng)絡(luò)構(gòu)建雪花檢測(cè)子網(wǎng)絡(luò)，將數(shù)據(jù)庫(kù)中的帶雪圖像不斷輸入雪花檢測(cè)子網(wǎng)絡(luò)獲取反映雪花位置和透明度信息的雪花層估計(jì)值采用密集連接的U網(wǎng)絡(luò)構(gòu)建雪花去除子網(wǎng)絡(luò)，將數(shù)據(jù)庫(kù)中的帶雪圖像雪花檢測(cè)子網(wǎng)絡(luò)輸出的雪花層估計(jì)值輸入雪花去除子網(wǎng)絡(luò)用于訓(xùn)練網(wǎng)絡(luò)、輸出去雪后的各個(gè)無(wú)雪背景層圖像估計(jì)值

計(jì)算深度去雪網(wǎng)絡(luò)的損失，獲取優(yōu)化的深度去雪網(wǎng)絡(luò)；

采集實(shí)際下雪圖像輸入至優(yōu)化的深度去雪網(wǎng)絡(luò)，得到處理的去雪后的無(wú)雪背景層圖像。