[發(fā)明專利]一種基于U-Net的多層次特征交互去霧網(wǎng)絡(luò)的構(gòu)建方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202211340900.1
• 申請(qǐng)日: 2022-10-30
• 公開（公告）號(hào): CN115578638A
• 公開（公告）日: 2023-01-06
• 發(fā)明（設(shè)計(jì)）人: 孫航;李勃輝;但志平;余梅;鄭銳林;楊雯;方帥領(lǐng);劉致遠(yuǎn)
• 申請(qǐng)（專利權(quán)）人: 三峽大學(xué)
• 主分類號(hào): G06V20/10
• 分類號(hào): G06V20/10;G06V10/20;G06V10/40;G06V10/774;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 宜昌市三峽專利事務(wù)所 42103
• 代理人: 余山

一種基于U?Net的多層次特征交互去霧網(wǎng)絡(luò)的構(gòu)建方法，該網(wǎng)絡(luò)的基礎(chǔ)框架為U型架構(gòu)，其中包括多層次特征交互模塊和通道非局部信息增強(qiáng)注意力模塊。給U型網(wǎng)絡(luò)架構(gòu)輸入有霧圖像，進(jìn)行卷積下采樣的分別得到EB1，EB2，EB3，之后通過多層次特征模塊將EB1，EB2，EB3進(jìn)行特征融合得到融合特征EF1，EF2，EF3。將上一步得到的融合特征通過通道非局部信息增強(qiáng)注意力模塊之后分別與解碼階段DB1，DB2，DB3相融合，再通過上采樣得到最終的去霧圖像。在濃霧、非均霧圖像以及尺度變化較大的遙感圖像上，本發(fā)明所提的方法能夠恢復(fù)出具有更好的顏色、亮度以及細(xì)節(jié)信息的去霧圖像。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理領(lǐng)域，具體涉及一種基于U-Net的多層次特征交互去霧網(wǎng)絡(luò)的構(gòu)建方法。

背景技術(shù)

霧霾是由大氣中的煙霧灰塵等微小顆粒產(chǎn)生的常見大氣現(xiàn)象，霧霾是造成物體外觀和對(duì)比度等視覺質(zhì)量下降的重要因素。在霧天拍攝的圖片往往會(huì)出現(xiàn)圖像模糊、信息損失、對(duì)比度下降等問題，霧霾會(huì)嚴(yán)重?fù)p失圖像信息對(duì)眾多高級(jí)視覺任務(wù)，諸如人臉識(shí)別、圖像分割、目標(biāo)檢測、目標(biāo)跟蹤等任務(wù)產(chǎn)生負(fù)面影響。因此，在過去的十幾年間，圖像去霧任務(wù)在視覺領(lǐng)域中受到了廣泛的關(guān)注。

目前，圖像去霧算法主要分為兩大類：基于參數(shù)估計(jì)的去霧方法和端到端的去霧方法。基于參數(shù)估計(jì)的去霧方法依賴于大氣散射模型，通過預(yù)估全球大氣光和傳輸圖等參數(shù)來實(shí)現(xiàn)圖像去霧。雖然基于先驗(yàn)的方法取得了顯著的進(jìn)展，但是在無約束條件下，這些基于中間參數(shù)估計(jì)的去霧方法容易產(chǎn)生較大誤差，會(huì)出現(xiàn)大量偽影、顏色失真等圖像退化現(xiàn)象。隨著深度學(xué)習(xí)的發(fā)展，近年來，端到端的去霧方法成為了主流，研究人員提出了許多端到端的去霧方法，這些方法利用卷積神經(jīng)網(wǎng)絡(luò)直接學(xué)習(xí)有霧圖像到無霧圖像之間的映射關(guān)系，不需要估計(jì)任何中間參數(shù)。Qing等人發(fā)表的《Enhanced Pix2pix Dehazing Network》,以U型網(wǎng)絡(luò)基礎(chǔ)提出了一種增強(qiáng)pix2pix去霧算法構(gòu)建了多分辨率生成器和多尺度判別器，在多分辨率生成器末端設(shè)計(jì)了增強(qiáng)模塊，增強(qiáng)了圖像紋理和色彩上的恢復(fù)效果。Done等人發(fā)表了《Multi-Scale Boosted Dehazing Network with Dense Feature Fusion》提出了MSBDN去霧網(wǎng)絡(luò)，該模型結(jié)合U型架構(gòu)和密集特征融合，在編碼層和解碼層上分別進(jìn)行密集跳連接，達(dá)到了優(yōu)秀的去霧性能。Wu等人發(fā)表的《Contrastive Learning for CompactSingle Image Dehazing》提出了一種基于對(duì)比學(xué)習(xí)思想的去霧網(wǎng)絡(luò)AECR-Net,該模型基于U型架構(gòu)基礎(chǔ)，其算法在表示空間上將網(wǎng)絡(luò)去霧后圖像與正樣本GT圖像拉近，與輸入有霧圖像推遠(yuǎn)，進(jìn)一步提升了去霧效果。Qing等人發(fā)表的《FFA-Net:Feature Fusion AttentionNetwork for Single Image Dehazing》提出一種特征融合注意網(wǎng)絡(luò)FFA-Net，該方法利用通道注意力和像素注意力在特征圖的空間維度和通道維度上分配權(quán)重，取得了良好的去霧性能。

雖然基于深度學(xué)習(xí)的端到端去霧方法取得了優(yōu)秀的去霧性能。然而，當(dāng)使用U型網(wǎng)絡(luò)和非U型網(wǎng)絡(luò)進(jìn)行圖像去霧時(shí)，依然存在以下幾個(gè)問題。

(1)大多數(shù)去霧算法的采用U型網(wǎng)絡(luò)結(jié)構(gòu)，直接將解碼層與對(duì)應(yīng)尺度的編碼層進(jìn)行融合，不僅忽視了不同編碼層信息的有效利用，而且存在特征信息稀釋的問題，從而導(dǎo)致去霧圖像恢復(fù)的邊緣細(xì)節(jié)和整體場景(顏色、亮度等)等方面不夠理想。

通道注意力中的兩層全連接的降維操作會(huì)對(duì)特征通道權(quán)重預(yù)測產(chǎn)生負(fù)面影響，從而降低去霧網(wǎng)絡(luò)的性能。

發(fā)明內(nèi)容

本發(fā)明的目的是為了解決現(xiàn)有技術(shù)在使用U型網(wǎng)絡(luò)進(jìn)行圖像去霧時(shí)，直接將解碼層與對(duì)應(yīng)尺度的編碼層進(jìn)行融合，缺乏不同層次編碼層信息的有效利用的技術(shù)問題，以及基于u型網(wǎng)絡(luò)結(jié)構(gòu)模型的下采樣會(huì)破壞圖像的空間細(xì)節(jié)信息，上采樣的過程中存在特征稀釋問題；此外，本發(fā)明還能解決SE通道注意力中的兩層全連接的降維操作會(huì)對(duì)特征通道權(quán)重預(yù)測產(chǎn)生負(fù)面影響，降低去霧網(wǎng)絡(luò)性能的技術(shù)問題，而提供的一種多層次特征交互和高效的通道非局部信息增強(qiáng)注意力的圖像去霧方法。