[發(fā)明專利]一種基于傅里葉先驗(yàn)的圖像去雨方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210630569.0
• 申請(qǐng)日: 2022-06-06
• 公開(kāi)（公告）號(hào): CN115205136A
• 公開(kāi)（公告）日: 2022-10-18
• 發(fā)明（設(shè)計(jì)）人: 傅雪陽(yáng);查正軍;郭鑫
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)技術(shù)大學(xué)
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06V10/774;G06V10/82;G06N3/08
• 代理公司: 安徽省合肥新安專利代理有限責(zé)任公司 34101
• 代理人: 陸麗莉;何梅生

1.一種基于傅里葉先驗(yàn)的圖像去雨方法，其特征是按如下步驟進(jìn)行：

步驟1獲取用于訓(xùn)練的有雨和無(wú)雨圖像對(duì)數(shù)據(jù)集：

獲取有雨圖像數(shù)據(jù)集，記為X_rain＝{x_{rain_1}，x_{rain_2}，...，x_{rain_i}，...，x_{rain_N}}，其中，x_{rain_i}表示第i張有雨圖像，i＝1，2，...，N，N為有雨圖像的數(shù)量；

獲取與有雨圖像一一對(duì)應(yīng)的無(wú)雨圖像集，記為X_clean＝{x_{clean_1}，x_{clean_2}，...，x_{clean_i}，...，x_{clean_N}}，其中，x_{clean_i}表示第i張無(wú)雨圖像；

令I(lǐng)＝{x_rain，X_clean}表示訓(xùn)練圖像數(shù)據(jù)集；

步驟2構(gòu)建傅里葉先驗(yàn)去雨網(wǎng)絡(luò)，包括：傅里葉幅度域去雨子網(wǎng)絡(luò)、相位域重構(gòu)模塊、傅里葉相位域結(jié)構(gòu)細(xì)化子網(wǎng)絡(luò)；并以所述有雨圖像數(shù)據(jù)集X_rain作為網(wǎng)絡(luò)輸入；

步驟2.1、所述傅里葉幅度域去雨子網(wǎng)絡(luò)包括：幅度域下采樣模塊和幅度域上采樣模塊；

所述幅度域下采樣模塊由M個(gè)傅里葉幅度域殘差模塊和M-1個(gè)幅度域下采樣層組成；

所述幅度域上采樣模塊由M個(gè)傅里葉幅度域殘差模塊和M-1個(gè)幅度域上采樣層組成；

將2M個(gè)傅里葉幅度域殘差模塊分別記為：

FARBlock₁，F(xiàn)ARBlock₂，...，F(xiàn)ARBlock_m，...，F(xiàn)ARBlock_2M；其中，F(xiàn)ARBlock_m表示第m級(jí)傅里葉幅度域殘差模塊，m＝1，2，...，2M；

將M-1個(gè)幅度域下采樣層分別記為：

AmpDownSampleBlock₁，AmpDownSampleBlock₂，...，AmpDownSampleBlock_m′，...，AmpDownSampleBlock_M-1；其中，AmpDownSampleBlock_m′表示第m′級(jí)幅度域下采樣層，m′＝1，2，...，M-1；

將M-1個(gè)幅度域上采樣模塊分別記為：

AmpUpSampleBlock_M+1，AmpUpSampleBlock_M+2，...，AmpUpSampleBlock_m″，...，AmpUpSampleBlock_2M-1；AmpUpSampleBlock_m″表示第m″級(jí)幅度域上采樣層，m″＝M+1，M+2，...，2M-1；

當(dāng)m＝1時(shí)，第i張有雨圖像x_{rain_i}輸入到第m級(jí)傅里葉幅度域殘差模塊FARBlock_m中進(jìn)行處理，并輸出第m個(gè)特征圖FAFeature_m，i；所述第m個(gè)特征圖FAFeature_m，i輸入所述第m′級(jí)幅度域下采樣層AmpDownSampleBlock_m′中進(jìn)行處理，并輸出第m′個(gè)特征圖DownFAFeature_m′，i；其中，m′＝m；

當(dāng)m＝2，...，M-1時(shí)，第m′-1個(gè)特征圖DownFAFeature_m′-1，i輸入到第m級(jí)傅里葉幅度域殘差模塊FARBlock_m中進(jìn)行處理，并相應(yīng)輸出第m個(gè)特征圖FAFeature_m，i；所述第m個(gè)特征圖FAFeature_m，i輸入所述第m′級(jí)幅度域下采樣層AmpDownSampleBlock_m′中進(jìn)行處理，并輸出第m′個(gè)特征圖DownFAFeature_m′，i；其中，m′＝m；

當(dāng)m＝M時(shí)，第M-1個(gè)特征圖DownFAFeature_M-1，i輸入到第M級(jí)傅里葉幅度域殘差模塊FARBlock_M中進(jìn)行處理，并相應(yīng)輸出第M個(gè)特征圖FAFeature_M，i，從而完成幅度域下采樣過(guò)程；

當(dāng)m＝M+1時(shí)，第M個(gè)特征圖FAFeature_M，i輸入第m級(jí)傅里葉幅度域殘差模塊FARBlock_m中進(jìn)行處理，并輸出第m個(gè)特征圖FAFeature_m，i；所述第m個(gè)特征圖FAFeature_m，i輸入第m″個(gè)級(jí)幅度域上采樣層Amp UpSampleBlock_m″中進(jìn)行處理，并輸出第m″個(gè)特征圖UpFAFeature_m″，i；其中，m″＝m；

當(dāng)m＝M+2，...，2M-1時(shí)，第m″-1個(gè)特征圖UpFAFeature_m″-1，i和第2M-m+1個(gè)特征圖FAFeature_2M-m+1，i一起輸入到第m級(jí)傅里葉幅度域殘差模塊FARBlock_m中進(jìn)行處理，并輸出第m個(gè)特征圖FAFeature_m，i；所述第m個(gè)特征圖FAFeature_m，i輸入到第m″個(gè)級(jí)幅度域上采樣層AmpUpSampleBlock_m″中進(jìn)行處理，并相應(yīng)輸出第m″個(gè)特征圖UpFAFeature_m″，i；其中，m″＝m；

當(dāng)m＝2M時(shí)，第m″-1個(gè)特征圖UpFAFeature_m″-1，i和所述第2級(jí)傅里葉幅度域殘差模塊FARBlock₂輸出的第2個(gè)特征圖FAFeature_2，i一起輸入到第m級(jí)傅里葉幅度域殘差模塊FARBlock_m在進(jìn)行處理，并相應(yīng)輸出最終的特征圖FAResult_i，并作為所述傅里葉幅度域去雨子網(wǎng)絡(luò)的輸出，其中，m″＝m；

步驟2.2、所述相位域重構(gòu)模塊由快速傅里葉變換層和快速傅里葉反變換層構(gòu)成；

所述快速傅里葉變換層分別對(duì)第i張有雨圖像x_{rain_i}和傅里葉幅度域去雨子網(wǎng)絡(luò)的輸出特征圖FAResult_i進(jìn)行快速傅里葉變換，得到x_{rain_i}的相位譜Amp(x_{rain_i})和FAResult_i的幅度譜Phase(FAResult_i)；

所述快速傅里葉反變換層對(duì)Amp(x_{rain_i})和Phase(FAResult_i)進(jìn)行快速傅里葉反變換，并輸出第i張有雨圖像x_{rain_i}的幅度域去雨結(jié)果y_{amp_clean_i}；

步驟2.3、所述傅里葉相位域結(jié)構(gòu)細(xì)化子網(wǎng)絡(luò)包括：相位域下采樣模塊和相位域上采樣模塊；

所述相位域下采樣模塊由K個(gè)傅里葉相位域殘差模塊和K-1個(gè)相位域下采樣層組成；

所述相位域上采樣模塊由K個(gè)傅里葉相位域殘差模塊和K-1個(gè)相位域上采樣層組成；

將2K個(gè)傅里葉相位域殘差模塊分別記為：

FPRBlock₁，F(xiàn)PRBlock₂，...，F(xiàn)PRBlock_k，...，F(xiàn)PRBlock_2K；其中，F(xiàn)PRBlock_k表示第k級(jí)傅里葉相位域殘差模塊，k＝1，2，...，2K；

將K-1個(gè)相位域下采樣層分別記為：

PhaDownSampleBlock₁，PhaDownSampleBlock₂，....，PhaDownSampleBlock_k′，...，PhaDownSampleBlock_K-1；其中，PhaDownSampleBlock_k′表示第k′級(jí)相位域下采樣層，k′＝1，2，...，K-1；

將K-1個(gè)相位域上采樣模塊分別記為：

PhaUpSampleBlock_K+1，PhaUpSampleBlock_K+2，....，PhaUpSampleBlock_k″，...，PhaUpSampleBlock_2K-1；PhaUpSampleBlock_k″表示第k″級(jí)相位域上采樣層，k″＝K+1，+2，...，2K-1；

當(dāng)k＝1時(shí)，第i張有雨圖像x_{rain_i}的幅度域去雨結(jié)果y_{amp_clean_i}輸入到第k級(jí)傅里葉相位域殘差模塊FPRBlock_k中進(jìn)行處理，并輸出第k個(gè)特征圖FPFeature_k，i；所述第k個(gè)特征圖FPFeature_k，i輸入所述第k′級(jí)相位域下采樣層PhaDownSampleBlock_k′中進(jìn)行處理，并輸出第k′個(gè)特征圖DownFPFeature_k′，i；其中，k′＝k；

當(dāng)k＝2，...，K-1時(shí)，第k′-1個(gè)特征圖DownFPFeature_k′-1，i輸入到第k級(jí)傅里葉相位域殘差模塊FPRBlock_m中進(jìn)行處理，并相應(yīng)輸出第k個(gè)特征圖FPFeature_k，i；所述第k個(gè)特征圖FPFeature_k，i輸入所述第k′級(jí)相位域下采樣層PhaDownSampleBlock_k′中進(jìn)行處理，并輸出第k′個(gè)特征圖DownFPFeature_k′，i；其中，k′＝k；

當(dāng)k＝K時(shí)，第K-1個(gè)特征圖DownFPFeature_M-1，i輸入到第K級(jí)傅里葉相位域殘差模塊FPRBlock_K中進(jìn)行處理，并相應(yīng)輸出第K個(gè)特征圖FPFeature_K，i，從而完成相位域下采樣過(guò)程；

當(dāng)k＝K+1時(shí)，第K個(gè)特征圖FPFeature_K，i輸入第k級(jí)傅里葉相位域殘差模塊FPRBlock_k中進(jìn)行處理，并輸出第k個(gè)特征圖FPFeature_k，i；所述第k個(gè)特征圖FPFeature_k，i輸入第k″個(gè)級(jí)相位域上采樣層PhaUpSampleBlock_k″中進(jìn)行處理，并輸出第k″個(gè)特征圖UpFPFeature_k″，i；其中，k″＝k；

當(dāng)k＝K+2，...，2K-1時(shí)，第k″-1個(gè)特征圖UpFPFeature_k″-1，i和第2K-m+1個(gè)特征圖FPFeature_2K-k+1，i一起輸入到第k級(jí)傅里葉相位域殘差模塊FPRBlock_k中進(jìn)行處理，并輸出第k個(gè)特征圖FPFeature_k，i；所述第k個(gè)特征圖FPFeature_k，i輸入到第k″個(gè)級(jí)相位域上采樣層PhaUpSampleBlock_k″中進(jìn)行處理，并相應(yīng)輸出第k″個(gè)特征圖UpFPFeature_k″，i；其中，k″＝k；

當(dāng)k＝2K時(shí)，第k″-1個(gè)特征圖UpFPFeature_m″-1，i和所述第2級(jí)傅里葉相位域殘差模塊FPRBlock₂輸出的第2個(gè)特征圖FPFeature_2，i一起輸入到第k級(jí)傅里葉相位域殘差模塊FPRBlock_k在進(jìn)行處理，并相應(yīng)地輸出y_{clean_i}，即為第i張預(yù)測(cè)的無(wú)雨圖片，其中，k″＝k；

步驟3、構(gòu)建反向傳播的損失函數(shù)：

利用式(2)和式(3)構(gòu)分別構(gòu)建空間域上幅度域去雨的損失函數(shù)L₁和頻率域上幅度域去雨的損失函數(shù)L_amp：

式(2)中，|·|表示保真函數(shù)，F(xiàn)FT^-1為快速傅里葉逆變換，Amp為傅里葉幅度譜，Phase為傅里葉相位譜；

利用式(4)和式(5)分別構(gòu)建圖像保真損失函數(shù)L₂和傅里葉損失函數(shù)L_fft：

式(5)中，F(xiàn)FT為快速傅里葉變換；

利用式(6)構(gòu)建總損失函數(shù)L：

L＝L₁+λ_ampL_amp+L₂+λ_fftL_fft (6)

式(6)中，λ_amp和λ_fft分別為可調(diào)參數(shù)；

步驟4、基于訓(xùn)練圖像數(shù)據(jù)集I以及傅里葉先驗(yàn)去雨網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并計(jì)算損失函數(shù)L，同時(shí)使用自適應(yīng)矩估計(jì)優(yōu)化方法以學(xué)習(xí)率lr_s來(lái)更新靜態(tài)檢測(cè)網(wǎng)絡(luò)權(quán)值，當(dāng)訓(xùn)練迭代次數(shù)達(dá)到設(shè)定的次數(shù)或損失誤差達(dá)小于所設(shè)定的閾值時(shí)，訓(xùn)練停止，從而得到最優(yōu)的去雨模型；以所述最優(yōu)的去雨網(wǎng)絡(luò)對(duì)有雨圖像進(jìn)行處理，并獲得對(duì)應(yīng)的清晰圖像。

2.根據(jù)權(quán)利要求1所述的一種基于傅里葉先驗(yàn)的圖像去雨方法，其特征在于，所述傅里葉幅度域去雨子網(wǎng)絡(luò)中的任意第m個(gè)傅里葉幅度域殘差模塊FARBlock_m是由第m個(gè)主分支和第m個(gè)傅里葉幅度譜分支構(gòu)成；

其中，第m個(gè)主分支由N個(gè)卷積層和N個(gè)LeakyRelu層構(gòu)成，卷積核均為k，步長(zhǎng)均為s；令N個(gè)卷積核均為k，步長(zhǎng)均為s的卷積層中任意第n級(jí)卷積層記為Conv_{k×k，s，m，n}；令N個(gè)LeakyRelu層中任意第n級(jí)LeakyRelu層記為L(zhǎng)R_m，n；n的范圍是1，2，...，n，...，N；

第m個(gè)傅里葉幅度譜分支由L個(gè)卷積核均為k，步長(zhǎng)均為s的卷積層、L個(gè)LeakyRelu層、一個(gè)快速傅里葉變換層FFT和一個(gè)快速傅里葉反變換層FFT^-1組成；令L個(gè)卷積核均為k，步長(zhǎng)均為s的卷積層中任意第l級(jí)卷積層記為Conv′_{k×k，s，m，l}；令L個(gè)LeakyRelu層中任意第l級(jí)LeakyRelu層記為L(zhǎng)R′_m，l，l的范圍是1，2，...，l，...，L；

假定第m個(gè)傅里葉幅度域殘差模塊FARBlock_m輸入的特征圖為Feature_input，并分別輸入第m個(gè)主分支和第m個(gè)傅里葉幅度譜分支中進(jìn)行處理，包括：

當(dāng)n＝1時(shí)，第m個(gè)主分支的第n個(gè)卷積層Conv_{k×k，s，m，n}和第n個(gè)LeakyRelu層LR_m，n利用式(7)對(duì)所述特征圖Feature_input進(jìn)行特征提取，得到第n個(gè)特征圖Feature_main，m，n：

Feature_main，m，n＝LR_n(Conv_{k×k，s，m，n}(Feature_input)) (7)

當(dāng)n＝2，3，…，N時(shí)，第m個(gè)主分支的第n個(gè)卷積層Conv′_{k×k，s，m，l}和第n個(gè)LeakyRelu層LR_m，n利用式(8)對(duì)第n-1個(gè)特征圖Feature_{main，m，n-1}進(jìn)行特征提取，得到第n個(gè)特征圖Feature_main，m，n：

Feature_main，m，n＝LR_m，n(Conv_{k×k，s，m，n}(Feature_{main，m，n-1}))，n＝2，3，...，N (8)

第m個(gè)傅里葉幅度譜分支對(duì)所述特征圖Feature_input進(jìn)行快速傅里葉變換，得到傅里葉幅度譜AmpFeature_amp，m，0和傅里葉相位譜PhaseFeature_amp，m，0，如式(9)所示：

AmpFeature_amp，m，0，PhaseFeature_amp，m，0＝FFT(Feature_input) (9)

當(dāng)l＝1，2，3，...，L時(shí)，第m個(gè)傅里葉幅度譜分支的第l個(gè)卷積層Conv′_{k×k，s，m，l}和第n個(gè)LeakyRelu層LR′_m，l利用式(10)對(duì)所述特征圖Feature_input進(jìn)行特征提取，得到第n個(gè)特征圖AmpFeature_main，m，n：

AmpFeature_amp，m，l＝LR′_m，l(Conv′_{k×k，s，m，l}(AmpFeature_{amp，m，l-1}))，l＝1，2，...，L.(10)

所述快速傅里葉變換層FFT對(duì)FFTAmpFeature_amp，m，L和PhaseFeature_amp，m，0進(jìn)行快速傅里葉反變換得到幅度域變換特征圖Feature_{amp，m，out}；

所述快速傅里葉反變換層FFT^-1利用式(11)得到第m個(gè)傅里葉幅度域殘差模塊的輸出特征圖Feature_m，out：

Feature_m，out＝Feature_main，m，N+Feature_{amp，m，out}+Feature_input (11)。