[發(fā)明專利]一種雙通道單幅圖像精細(xì)去雨方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910967587.6
• 申請(qǐng)日: 2019-10-12
• 公開(kāi)（公告）號(hào): CN110728640B
• 公開(kāi)（公告）日: 2023-07-18
• 發(fā)明（設(shè)計(jì)）人: 張召;韋炎炎;洪日昌;汪萌
• 申請(qǐng)（專利權(quán)）人: 合肥工業(yè)大學(xué)
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06T7/194;G06N3/0464;G06N3/09
• 代理公司: 安徽合肥華信知識(shí)產(chǎn)權(quán)代理有限公司 34112
• 代理人: 余成俊

本發(fā)明公開(kāi)了一種雙通道單幅圖像精細(xì)去雨方法，為了準(zhǔn)確獲取負(fù)殘差雨紋特征圖，提出了一種新的雙通道殘差密集塊模塊（簡(jiǎn)稱雙通道混合塊），包括殘差路徑和密集路徑。殘差路徑用于重用來(lái)自深度卷積網(wǎng)絡(luò)前面層的常見(jiàn)雨紋特征圖，而密集路徑則可以用來(lái)探索新的雨紋特征圖。在雙通道混合塊的基礎(chǔ)上，構(gòu)建了基于雙通道混合塊的級(jí)聯(lián)雙通道混合塊用于雨紋特征提取。為了連接不同尺度的特征，本發(fā)明方法還采用了多流支路的思想，在多流支路間和基于雙通道殘差密集塊的流之間設(shè)置了數(shù)據(jù)鏈接通道用于雨紋特征信息共享。在獲得多感知域的雨紋特征圖，經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)獲取粗糙的負(fù)殘差雨紋特征圖后，經(jīng)過(guò)精細(xì)化微調(diào)最終可以獲得最終的準(zhǔn)確去雨圖像。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)圖像處理方法領(lǐng)域，具體是一種雙通道單幅圖像精細(xì)去雨方法。

背景技術(shù)

在眾多的計(jì)算機(jī)視覺(jué)和數(shù)據(jù)挖掘等任務(wù)中，如自動(dòng)駕駛、基于無(wú)人機(jī)的視頻監(jiān)控和惡劣天氣條件下的實(shí)時(shí)目標(biāo)識(shí)別等，從圖像中去除雨紋是一個(gè)重要且具有挑戰(zhàn)性的課題。雨是最常見(jiàn)的一種可以降低圖像質(zhì)量的天氣,由于雨紋的干擾,導(dǎo)致對(duì)象檢測(cè),圖像識(shí)別以及顯著性檢測(cè)等一些高級(jí)任務(wù)可能會(huì)受到影響,所以開(kāi)發(fā)新穎有效的方法來(lái)自動(dòng)處理圖像中的雨紋是非常重要的。

帶雨圖像主要包含雨條紋和雨滴，在真實(shí)圖像之前形成雨掩模。對(duì)于暴雨，由于光線的散射，它們可能會(huì)造成霧霾大氣，從而使圖像模糊和朦朧。因此，將雨掩膜與真實(shí)圖像分離是解決這一問(wèn)題的一個(gè)直觀思路。雨紋去除問(wèn)題可以建模為X＝R+B

其中X為帶雨圖像，可分解為雨條紋分量R和干凈背景圖像B。

近年來(lái)，深度學(xué)習(xí)的發(fā)展非常迅速，在高級(jí)和低級(jí)視覺(jué)任務(wù)中都取得了顯著的成功，因此提出了許多基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的單幅圖像去雨方法。這些方法通常會(huì)訓(xùn)練一個(gè)端到端深度網(wǎng)絡(luò)框架來(lái)學(xué)習(xí)帶雨圖像和對(duì)應(yīng)的無(wú)雨圖像之間的映射。一般情況下，現(xiàn)有單幅圖像去雨方法通常采用殘差網(wǎng)絡(luò)、密集網(wǎng)絡(luò)、壓縮激勵(lì)網(wǎng)絡(luò)等網(wǎng)絡(luò)或膨脹卷積、壓縮激勵(lì)等卷積運(yùn)算。但是由于雨紋去除問(wèn)題的數(shù)學(xué)模型中存在復(fù)雜的病態(tài)二分問(wèn)題，因此上述方法無(wú)法從帶雨圖像中提取出準(zhǔn)確的雨條紋，尤其在訓(xùn)練過(guò)程中，如果沒(méi)有正確考慮測(cè)試圖像中的雨紋方向和尺度，則往往容易出現(xiàn)過(guò)分去雨(導(dǎo)致圖像模糊)或少量去雨(導(dǎo)致剩余大量雨紋)的情況。其主要原因是由于這些方法的雨紋學(xué)習(xí)和表達(dá)能力不足，特別是在強(qiáng)降雨(即雨紋大且密)條件下，無(wú)法準(zhǔn)確地學(xué)習(xí)到帶雨圖像和無(wú)雨圖像之間的映射關(guān)系。因此，提供一種基于深度學(xué)習(xí)的端到端的單幅圖像去雨方法來(lái)處理上述問(wèn)題是本領(lǐng)域技術(shù)人員亟待解決的問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種雙通道單幅圖像精細(xì)去雨方法，以克服上述的問(wèn)題。

為了達(dá)到上述目的，本發(fā)明所采用的技術(shù)方案為：

一種雙通道單幅圖像精細(xì)去雨方法，其特征在于，基于雙通道混合塊的多流支路、負(fù)殘差雨紋特征圖學(xué)習(xí)以及精細(xì)化處理的思想，包括：

將原始數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集，其中訓(xùn)練集主要用于雨紋與背景分解、特征提取和負(fù)殘差雨紋特征圖學(xué)習(xí)，測(cè)試集主要被用于評(píng)價(jià)本發(fā)明方法的去雨性能。此外，進(jìn)行必要的參數(shù)初始化等。

本發(fā)明方法將雨紋特征提取、負(fù)殘差雨紋特征圖學(xué)習(xí)和去雨圖像精細(xì)處理集成到一個(gè)統(tǒng)一的神經(jīng)網(wǎng)絡(luò)框架。該神經(jīng)網(wǎng)絡(luò)框架主要包括兩個(gè)部分，即基于雙通道混合塊構(gòu)成的多流處理模塊和一個(gè)負(fù)殘差雨紋特征圖精細(xì)處理模塊。多流處理模塊主要用于從帶雨圖像中提取粗糙的雨紋特征圖，負(fù)殘差雨紋特征圖精細(xì)處理模塊主要用于對(duì)粗糙的雨紋特征圖進(jìn)行處理生成相應(yīng)的負(fù)殘差雨紋特征圖，并最終得到去雨圖像。基于給定的采集到的帶雨圖像，本發(fā)明方法將其分解為一個(gè)負(fù)殘差雨紋部分和真實(shí)的無(wú)雨背景圖像。