[發(fā)明專利]基于對(duì)抗學(xué)習(xí)的單幅圖像去雨方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210763079.8
• 申請(qǐng)日: 2022-06-30
• 公開（公告）號(hào): CN115131244A
• 公開（公告）日: 2022-09-30
• 發(fā)明（設(shè)計(jì)）人: 李彬;馮富祥;張友梅
• 申請(qǐng)（專利權(quán)）人: 齊魯工業(yè)大學(xué)
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06N3/04;G06N3/08
• 代理公司: 濟(jì)南圣達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 37221
• 代理人: 李琳

1.基于對(duì)抗學(xué)習(xí)的單幅圖像去雨方法，其特征在于，包括如下步驟：

獲取待去雨圖像；

基于待去雨圖像和訓(xùn)練后的去雨網(wǎng)絡(luò)進(jìn)行圖像去雨，得到去雨圖像；

其中，所述去雨網(wǎng)絡(luò)的構(gòu)建過程包括：

將待去雨圖像經(jīng)過下采樣后壓縮圖像的維數(shù)，將降維后的待去雨圖像經(jīng)過嵌入弱實(shí)例標(biāo)準(zhǔn)化的殘差塊的特征轉(zhuǎn)換模塊執(zhí)行圖像去雨得到去雨圖像，經(jīng)過上采樣后放大圖像維數(shù)，并將去雨圖像和待去雨圖像進(jìn)行特征融合得到去雨圖像。

2.如權(quán)利要求1所述的基于對(duì)抗學(xué)習(xí)的單幅圖像去雨方法，其特征在于，所述將降維后的待去雨圖像經(jīng)過嵌入弱實(shí)例標(biāo)準(zhǔn)化的殘差塊的特征轉(zhuǎn)換模塊執(zhí)行圖像去雨得到去雨圖像，包括：

將降維后的待去雨圖像依次傳入殘差塊進(jìn)行特征轉(zhuǎn)換，在殘差塊中嵌入弱實(shí)例標(biāo)準(zhǔn)化層，將特征圖拆分為兩塊，一塊執(zhí)行實(shí)例標(biāo)準(zhǔn)化運(yùn)算，另一塊保持不變，同時(shí)進(jìn)行殘差連接，將經(jīng)過弱實(shí)例標(biāo)準(zhǔn)化運(yùn)算的特征圖和待去雨圖像的特征圖做求和處理后得到去雨圖像。

3.如權(quán)利要求1所述的基于對(duì)抗學(xué)習(xí)的單幅圖像去雨方法，其特征在于，所述去雨網(wǎng)絡(luò)的訓(xùn)練時(shí)，通過將去雨圖與真實(shí)無(wú)雨圖之間的距離損失、鑒別損失以及高級(jí)語(yǔ)義損失的權(quán)重設(shè)置加權(quán)求和得到最終的去雨網(wǎng)絡(luò)損失。

4.如權(quán)利要求3所述的基于對(duì)抗學(xué)習(xí)的單幅圖像去雨方法，其特征在于，所述去雨圖與真實(shí)無(wú)雨圖之間的鑒別損失通過訓(xùn)練后的鑒別網(wǎng)絡(luò)對(duì)去雨圖像進(jìn)行鑒別得到，所述鑒別網(wǎng)絡(luò)包括多個(gè)下采樣模塊以及一層輸出層，其中，每個(gè)下采樣模塊均由一層卷積層、批量標(biāo)準(zhǔn)化層和ReLU激活函數(shù)層組成，輸出層由一層卷積層構(gòu)成。

5.如權(quán)利要求3所述的基于對(duì)抗學(xué)習(xí)的單幅圖像去雨方法，其特征在于，所述獲取去雨圖與真實(shí)無(wú)雨圖之間的高級(jí)語(yǔ)義損失的過程包括：

將去雨網(wǎng)絡(luò)生成的圖像與真實(shí)無(wú)雨圖像一同傳入特征提取模塊提取得到圖像高級(jí)語(yǔ)義特征；

將兩組圖像高級(jí)語(yǔ)義特征一同傳入特征相似度評(píng)估模塊評(píng)估二者的高級(jí)語(yǔ)義相似度得到相似度計(jì)算值；

根據(jù)相似度計(jì)算值得到去雨圖與真實(shí)無(wú)雨圖之間的高級(jí)語(yǔ)義損失。

6.如權(quán)利要求1所述的基于對(duì)抗學(xué)習(xí)的單幅圖像去雨方法，其特征在于，在進(jìn)行圖像去雨時(shí)，利用鏡像填充，將待去雨圖像尺寸填充，之后利用歸一化操作歸一化圖像數(shù)據(jù)，傳入去雨網(wǎng)絡(luò)執(zhí)行圖像去雨操作，將去雨網(wǎng)絡(luò)輸出的圖像執(zhí)行反歸一化操作，最后刪去之前填充的元素，得到最終去雨的圖像。

7.如權(quán)利要求1所述的基于對(duì)抗學(xué)習(xí)的單幅圖像去雨方法，其特征在于，訓(xùn)練去雨網(wǎng)絡(luò)采用的數(shù)據(jù)集的構(gòu)建過程為：

獲取真實(shí)無(wú)雨圖像，并且對(duì)每張圖利用加雨算法添加雨滴，每張無(wú)雨圖都對(duì)應(yīng)一張有雨圖，將所有的圖片對(duì)按一定的比例劃分訓(xùn)練集與測(cè)試集，訓(xùn)練集用于訓(xùn)練模型的參數(shù)，測(cè)試集用于測(cè)試模型去雨的能力。

8.基于對(duì)抗學(xué)習(xí)的單幅圖像去雨系統(tǒng)，其特征在于，包括：

待去雨圖像獲取模塊，用于獲取待去雨圖像；

去雨模塊，用于基于待去雨圖像和訓(xùn)練后的去雨網(wǎng)絡(luò)進(jìn)行圖像去雨，得到去雨圖像；

其中，所述去雨網(wǎng)絡(luò)的構(gòu)建過程包括：

將待去雨圖像經(jīng)過下采樣后壓縮圖像的維數(shù)，將降維后的待去雨圖像經(jīng)過嵌入弱實(shí)例標(biāo)準(zhǔn)化的殘差塊的特征轉(zhuǎn)換模塊執(zhí)行圖像去雨得到去雨圖像，經(jīng)過上采樣后放大圖像維數(shù)，并將去雨圖像和待去雨圖像進(jìn)行特征融合得到去雨圖像。

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-7中任一項(xiàng)所述的基于對(duì)抗學(xué)習(xí)的單幅圖像去雨方法中的步驟。

10.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1-7中任一項(xiàng)所述的基于對(duì)抗學(xué)習(xí)的單幅圖像去雨方法中的步驟。