[發(fā)明專利]基于選擇性機(jī)制注意力機(jī)制的雨圖去雨方法、系統(tǒng)及設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202110060900.5
• 申請(qǐng)日: 2021-01-18
• 公開（公告）號(hào): CN112862875B
• 公開（公告）日: 2022-02-15
• 發(fā)明（設(shè)計(jì)）人: 赫然;黃懷波;于艾靖;柴振華
• 申請(qǐng)（專利權(quán)）人: 中國科學(xué)院自動(dòng)化研究所
• 主分類號(hào): G06T7/40
• 分類號(hào): G06T7/40;G06T7/194;G06T7/13;G06T5/50;G06T5/00;G06V10/774
• 代理公司: 北京市恒有知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11576
• 代理人: 郭文浩;尹文會(huì)

本發(fā)明屬于數(shù)據(jù)處理領(lǐng)域，具體涉及了一種基于選擇性機(jī)制注意力機(jī)制的雨圖去雨方法、系統(tǒng)及設(shè)備，旨在提高去雨質(zhì)量。本發(fā)明方法包括：獲取待去雨處理的雨圖作為初始輸入圖像；將初始輸入圖像，通過基于選擇性小波注意力編碼器SWAE和選擇性小波注意力解碼器SWAG的殘差網(wǎng)絡(luò)架構(gòu)的去雨網(wǎng)絡(luò)模型，進(jìn)行去雨處理，得到去雨后的圖像；SWAE和SWAG跳層連接；SWAE將包含雨和背景信息的特征轉(zhuǎn)化為小波域，根據(jù)估計(jì)的選擇性小波注意力圖，在小波池化下采樣前將特征分解為雨和背景空間；SWAG在小波域中融合前一層的輸出特征和跳連過來的背景特征，通過小波解池化進(jìn)行上采樣。本發(fā)明提高了去雨質(zhì)量，同時(shí)保證了去雨質(zhì)量的穩(wěn)定性。

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)據(jù)處理領(lǐng)域，具體涉及了一種基于選擇性機(jī)制注意力機(jī)制的雨圖去雨方法、系統(tǒng)及設(shè)備。

背景技術(shù)

單張圖像去雨是圖像到圖像轉(zhuǎn)換任務(wù)的一種，具有一定的商業(yè)價(jià)值，在自動(dòng)駕駛、目標(biāo)檢測(cè)等工業(yè)落地場(chǎng)景都有應(yīng)用。

單張雨圖像包含不同形狀、大小、方向、疏密度的雨紋和雨滴以及背景場(chǎng)景。單張圖像去雨需要盡可能地去除雨水紋理并恢復(fù)干凈的背景圖。目前的方法采用深度學(xué)習(xí)技術(shù)，利用一些先驗(yàn)信息從單一圖像中去除雨紋。例如降雨密度，場(chǎng)景深度，置信圖等。除此之外，許多方法利用先進(jìn)的深度網(wǎng)絡(luò)結(jié)構(gòu)，如ResNet，DenseNet，金字塔網(wǎng)絡(luò)等。為了提升去雨效率并獲得更好的去雨結(jié)果，最近產(chǎn)生了許多基于注意力機(jī)制的工作，它們使得模型更關(guān)注于雨圖中有雨紋的區(qū)域。但是，由于雨條紋的表觀和積累的多樣性，在嵌入空間中很難對(duì)雨紋和背景信息進(jìn)行分離，導(dǎo)致不僅在圖像像素域會(huì)出現(xiàn)效果不自然的情況，在語義嵌入空間也可能存在內(nèi)在地重疊。這些具有挑戰(zhàn)性的技術(shù)難點(diǎn)使得去雨效果還有很大的提升空間。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)中的上述問題，即為了提高去雨質(zhì)量，本發(fā)明的第一方面，提供了一種基于選擇性機(jī)制注意力機(jī)制的雨圖去雨方法，包括以下步驟：

步驟S100，獲取待去雨處理的雨圖作為初始輸入圖像；

步驟S200，將所述初始輸入圖像，通過基于選擇性小波注意力編碼器和選擇性小波注意力解碼器的殘差網(wǎng)絡(luò)架構(gòu)的去雨網(wǎng)絡(luò)模型，進(jìn)行去雨處理，得到去雨后的圖像；

其中，

所述選擇性小波注意力編碼器和所述選擇性小波注意力解碼器跳層連接；

所述選擇性小波注意力編碼器，配置為將包含雨和背景信息的特征轉(zhuǎn)化為小波域，根據(jù)估計(jì)的選擇性小波注意力圖，在小波池化下采樣前將特征分解為雨和背景空間；

所述選擇性小波注意力解碼器，配置為在小波域中融合前一層的輸出特征和跳連過來的背景特征，通過小波解池化進(jìn)行上采樣。

在一些優(yōu)選實(shí)施方式中，所述去雨網(wǎng)絡(luò)模型的參數(shù)通過生成判別網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練獲取；

所述生成判別網(wǎng)絡(luò)模型的生成網(wǎng)絡(luò)為所述去雨網(wǎng)絡(luò)模型、判別網(wǎng)絡(luò)為小波注意力鑒別器；

所述小波注意力鑒別器配置為區(qū)分雨圖像及該圖像通過生成網(wǎng)絡(luò)獲取的無雨圖像。

在一些優(yōu)選實(shí)施方式中，所述小波注意力鑒別器基于選擇性小波注意力編碼器和殘差塊進(jìn)行構(gòu)架，每個(gè)選擇性小波注意力編碼器配置一個(gè)側(cè)卷積層，各側(cè)卷積層的輸出進(jìn)行通道串聯(lián)。

在一些優(yōu)選實(shí)施方式中，所述選擇性小波注意力編碼器，其對(duì)輸入特征的處理方法包括：

將輸入特征分解為一組小波系數(shù)，并對(duì)各小波系數(shù)進(jìn)行獨(dú)立殘差處理；

利用輸入特征和處理后的小波系數(shù)獲取小波注意力圖；

利用所述小波注意力圖來分離輸入特征中的雨特征和背景特征；

將輸入特征中的雨特征進(jìn)行下采樣。