[發(fā)明專(zhuān)利]一種雙通道單幅圖像精細(xì)去雨方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910967587.6
• 申請(qǐng)日: 2019-10-12
• 公開(kāi)（公告）號(hào): CN110728640B
• 公開(kāi)（公告）日: 2023-07-18
• 發(fā)明（設(shè)計(jì)）人: 張召;韋炎炎;洪日昌;汪萌
• 申請(qǐng)（專(zhuān)利權(quán)）人: 合肥工業(yè)大學(xué)
• 主分類(lèi)號(hào): G06T5/00
• 分類(lèi)號(hào): G06T5/00;G06T7/194;G06N3/0464;G06N3/09
• 代理公司: 安徽合肥華信知識(shí)產(chǎn)權(quán)代理有限公司 34112
• 代理人: 余成俊

1.一種雙通道單幅圖像精細(xì)去雨方法，其特征在于：基于雙通道混合塊的多流支路、負(fù)殘差雨紋學(xué)習(xí)以及精細(xì)化處理的思想，包括：

將原始數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集，其中訓(xùn)練集主要用于雨紋與背景分解、特征提取和負(fù)殘差雨紋學(xué)習(xí)，測(cè)試集主要被用于評(píng)價(jià)所述的雙通道單幅圖像精細(xì)去雨方法的去雨性能；

所述的雙通道單幅圖像精細(xì)去雨方法將雨紋特征提取、負(fù)殘差雨紋學(xué)習(xí)和去雨圖像精細(xì)處理集成到一個(gè)統(tǒng)一的學(xué)習(xí)框架，得到一個(gè)可用于真實(shí)背景圖像提取的負(fù)殘差雨紋特征圖；基于給定的采集到的帶雨圖像，所述的雙通道單幅圖像精細(xì)去雨方法將其分解為一個(gè)負(fù)殘差雨紋部分和真實(shí)的無(wú)雨背景圖像；

為了獲得更加魯棒的去雨效果，所述的雙通道單幅圖像精細(xì)去雨方法將原始輸入的圖像進(jìn)行多感知域的不同尺寸處理，通過(guò)基于雙通道混合塊的多流支路的設(shè)置可有效獲取原始圖像的雨紋特征混合表示。具體來(lái)說(shuō)，就是利用基于雙通道混合塊構(gòu)成的多流處理模塊，其中雙通道混合塊的構(gòu)成具體如下，F(xiàn)^k-1和F^k分別是從第k-1個(gè)和第k個(gè)雙通道混合塊中提取的特征圖。首先，F(xiàn)^k-1將被發(fā)送到第k個(gè)雙通道混合塊中進(jìn)行雙路操作。具體地說(shuō)，在第k個(gè)雙通道混合塊中，F(xiàn)^k-1將被分解為兩個(gè)部分，供以后的雙通道操作使用：

其中和是F^k-1的分解部分，[]表示并連接操作，雖然將其分解為兩部分，但仍然使用原始的特征圖F^k-1來(lái)獲得新的特征圖，然后，將其分解為雙通道操作組件，如下所示：

其中為3個(gè)卷積核分別為1×1,3×3和1×1的BN-ReLU-Conv操作，f^k表示上述操作后得到的特征圖，表示被f^k分解的特征表示，將分別用于剩余殘差路徑和密集路徑，對(duì)于殘差路徑，以元素加的方式處理和對(duì)于密集路徑，將和并連接在一起：

其中，為殘差路徑得到的新特征圖，+為元素級(jí)的加法操作，由于殘差路徑里元素級(jí)加法操作的性質(zhì)，和將具有相同的維數(shù)，表示密集路徑中獲取的新的特征圖，由于密集路徑中并操作的性質(zhì)，將會(huì)比有一個(gè)維數(shù)的增加，將k_D定義為密集路徑中維數(shù)的固定增加值，最后，可以很容易的將和拼接在一起，得到由第k個(gè)雙通道混合塊獲得的新的特征圖：

與第k-1個(gè)雙通道混合塊的特征圖F^k-1相比，F(xiàn)^k增加了k_D大小的維數(shù)，在第k個(gè)雙通道混合塊中執(zhí)行完上述這些操作之后，類(lèi)似地將F^k發(fā)送到第k+1個(gè)雙通道混合塊中繼續(xù)獲得新的特征圖；

所述的雙通道單幅圖像精細(xì)去雨方法中，將6個(gè)雙通道混合塊連接在一起，構(gòu)成一個(gè)級(jí)聯(lián)雙通道混合塊，由于雙通道混合塊中的每次密集路徑操作將會(huì)帶來(lái)k_D的維度提升，因此特征圖的尺寸將快速增長(zhǎng)，這就會(huì)導(dǎo)致框架內(nèi)參數(shù)變多，因此需要使用一個(gè)過(guò)渡卷積層來(lái)降低參數(shù)和特征圖數(shù)量，過(guò)渡卷積層的操作如下：

其中是第k個(gè)級(jí)聯(lián)雙通道混合塊中的第k個(gè)雙通道混合塊的特征圖，trans(·)表示一個(gè)卷積核大小為1x?1的BN-ReLU-Conv操作，T^k為從第k個(gè)級(jí)聯(lián)雙通道混合塊中提取的特征圖；

此外，基于構(gòu)建多流支路之間的特征交換和學(xué)習(xí)，通過(guò)所述雙通道混合塊構(gòu)成的級(jí)聯(lián)混合模塊所提取的雨紋特征進(jìn)行共享優(yōu)化，可得到性能更加優(yōu)越的去雨效果；通過(guò)仿真實(shí)驗(yàn)，驗(yàn)證了所述的雙通道單幅圖像精細(xì)去雨方法可有效提升單幅圖像的雨紋去除與精細(xì)處理；具體來(lái)說(shuō)，每個(gè)支流包含6個(gè)級(jí)聯(lián)雙通道混合塊，其結(jié)構(gòu)可以描述為如下：級(jí)聯(lián)雙通道混合塊1(6,1)-級(jí)聯(lián)雙通道混合塊2(6,1)-級(jí)聯(lián)雙通道混合塊3(6,1)-級(jí)聯(lián)雙通道混合塊4(6,1)-級(jí)聯(lián)雙通道混合塊5(6,1)-級(jí)聯(lián)雙通道混合塊6(6,1)；

其中級(jí)聯(lián)雙通道混合塊1(6,1)表示第1個(gè)級(jí)聯(lián)雙通道混合塊，其中包含6個(gè)雙通道混合塊和1個(gè)過(guò)渡卷積層，卷積核大小分別為3×3，5×5，7×7，在三個(gè)支流中，使用全填充使得特征圖保持一樣的大小；

為了更好地重用前面的特征圖，還在級(jí)聯(lián)雙通道混合塊之間設(shè)置了信息傳遞路徑，具體是第2個(gè)和第4個(gè)級(jí)聯(lián)雙通道混合塊之間，以及第1個(gè)和第5個(gè)級(jí)聯(lián)雙通道混合塊之間，具體定義為：

其中，T^k,T^k+d-1和T^k+d分別表示從第k個(gè)、第k+d-1個(gè)和第k+d個(gè)級(jí)聯(lián)雙通道混合塊中提取的特征圖，表示第k+d個(gè)級(jí)聯(lián)雙通道混合塊中的BN-ReLU-Conv操作；

基于雙通道混合塊強(qiáng)大的學(xué)習(xí)能力，使用的多支流設(shè)計(jì)提取出具有不同的接收域的特征圖；為了更好的融合不同尺度特征圖的信息，在不同支流之間創(chuàng)建了信息傳遞鏈接，以增強(qiáng)特征聚合，獲得更好的收斂性；在獲得多流特征圖后，下一步將它們拼接在一起，并進(jìn)行精細(xì)處理和微調(diào)，就能得到最終的去雨圖像；通過(guò)深度學(xué)習(xí)方法，對(duì)得到的粗糙的負(fù)雨紋殘差進(jìn)行精細(xì)化處理，確保得到精細(xì)的負(fù)雨紋殘差特征，也在一定程度上去除原始數(shù)據(jù)中的噪音從而獲得更加準(zhǔn)確的無(wú)雨圖像；具體來(lái)說(shuō)，就是利用負(fù)殘差雨紋特征圖精細(xì)處理模塊，在基于雙通道混合塊的多支流處理過(guò)程中提取到粗糙的雨紋特征圖后，將這些粗糙的雨紋特征圖拼接在一起，并將粗糙的雨紋特征圖進(jìn)行卷積運(yùn)算，得到負(fù)雨紋殘差圖像，具體定義為：

NR＝tanh(H_RES([S₁,S₂,S₃]))，

其中S₁,S₂和S₃分別表示從三個(gè)支流中提取的特征圖,H_RES(·)是卷積核為3x3的卷積操作,tanh(·)是一個(gè)雙曲正切操作，NR就表示102中提取到的負(fù)雨紋殘差圖像；

利用上述得到的負(fù)殘差雨紋特征圖，通過(guò)與原始的帶雨圖像進(jìn)行像素級(jí)別的相加，得到粗糙的去雨圖像，然后再經(jīng)過(guò)一個(gè)精細(xì)化加工器，得到精細(xì)化去雨圖像；

具體來(lái)說(shuō)，就是利用負(fù)殘差雨紋特征圖精細(xì)處理模塊，將負(fù)雨紋殘差圖像與輸入圖像進(jìn)行元素級(jí)的加法操作，得到粗糙去雨圖像；為了更好的獲得去雨質(zhì)量，對(duì)粗糙去雨圖像進(jìn)行精細(xì)處理和微調(diào)，最終得到精去雨圖像，具體可以定義為：

B＝G(X+NR)，

其中NR和X分別表示負(fù)雨紋殘差圖像和輸入圖像，+表示元素級(jí)的加法操作,G(·)是一種卷積核大小分別為7x7和3x?3的ReLU-Conv-ReLU-Conv操作,B是最后獲得的去雨圖像。