[發明專利]一種基于金字塔通道特征注意力的神經網絡圖像去霧方法

有效

• 申請號: 202010320431.1
• 申請日: 2020-04-21
• 公開（公告）號: CN111539888B
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 張笑欽;王濤;王金鑫;趙麗
• 申請（專利權）人: 溫州大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 北京中北知識產權代理有限公司 11253
• 代理人: 陳孝政

本發明公開了一種基于金字塔通道特征注意力的神經網絡圖像去霧方法，包括以下步驟：構建圖像去霧模型；獲取有霧圖像數據；利用圖像去霧模型中的金字塔通道特征注意力模塊將特征圖進行動態融合，并利用注意力機制進行去霧處理；將去霧處理后的特征通過圖像重構模塊重構為清晰的無霧圖像；計算恢復圖像和對應清晰圖像的均方誤差和邊緣損失，更新圖像去霧模型；其中均方誤差指導圖像去霧模型學習清晰圖像的內容，邊緣損失指導圖像去霧模型關注圖像細節結構，兩種損失函數協作指導去霧模型達去霧性能。上述技術方案，對實際拍攝的霧圖進行有效的去霧處理，恢復高質量圖像。

技術領域

本發明涉及圖像處理技術領域，具體涉及一種基于金字塔通道特征注意力的神經網絡圖像去霧方法。

背景技術

近年來，高級視覺任務例如目標跟蹤、自動駕駛等取得了巨大的突破，隨著研究進展，越來越多的研究人員致力于將研究成果落實到實際場景中，但由于實際場景中大霧、大雨等惡劣天氣因素的影響，這些成果落地并未取得較為理想的效果。因此，研究如何在大霧等惡劣天氣場景下恢復清晰圖像成為高級視覺任務落地的必要之一。在大霧場景下，物體的反射光線在傳播過程中，由于空氣中懸浮的顆粒影響，圖片在成像時色彩偏暗，紋理細節分辨率能力下降，因此，如何盡可能的恢復圖像的色彩信息、物體紋理信息，并使得復原圖像具有良好的視覺效果具有十分重要的意義。

圖像去霧時一個典型的圖像復原問題，其可以追溯到1924年，研究人員提出了經典的大氣光散射模型，模型如下：

I＝tJ+A(1-t)

t(x)＝e^βd(x)

其中，I為設備拍攝到的有霧圖像，t是空氣散射率，J為潛在的清晰圖像，A為全球大氣光，d表示物體成像的深度。上模型中，I為已知量，去霧算法需要將其他量檢測出來，合成最終潛在的清晰圖像，該問題是一個病態的問題。早期的去霧算法往往借助于人工設置的先驗信息。例如，何凱明等人于2009年通過觀察與數學統計發現在霧圖中絕大多數非天空的局部區域里，某一些像素總會有至少一個顏色通道有很低的像素值。根據這樣的觀察與統計，何凱明等人提出了暗通道先驗(DCP,Dark?Channel?Prior)的去霧方法。從此，很多先驗被研究人員例如顏色衰減先驗(CAP,Color?Attenuation?Prior)、色差差異先驗等提出，提高了模型去霧性能。然而不同的先驗依賴于圖像某一個特性的估計，在真實場景下這些先驗信息往往失效且計算復雜。

發明內容

針對現有技術存在的不足，本發明的目的在于提供一種對實際拍攝的霧圖進行有效的去霧處理，恢復高質量圖像的基于金字塔通道特征注意力的神經網絡圖像去霧方法。

為實現上述目的，本發明提供了如下技術方案：一種基于金字塔通道特征注意力的神經網絡圖像去霧方法，包括以下步驟：

S1、構建圖像去霧模型；其中，該圖像去霧模型包括三尺度特征提取器、金字塔通道特征注意力模塊和圖像重構模塊；

S2、獲取有霧圖像數據，利用三尺度特征提取器提取霧圖三種不同尺度的特征圖，其中不同尺度的特征圖表示霧圖受到霧影響不同的特征；

S3、利用圖像去霧模型中的金字塔通道特征注意力模塊將特征圖進行動態融合，并利用注意力機制進行去霧處理；

S4、將去霧處理后的特征通過圖像重構模塊重構為清晰的無霧圖像；

S5、計算恢復圖像和對應清晰圖像的均方誤差和邊緣損失，更新圖像去霧模型；其中均方誤差指導圖像去霧模型學習清晰圖像的內容，邊緣損失指導圖像去霧模型關注圖像細節結構，兩種損失函數協作指導去霧模型去霧性能。

作為優選的，步驟S5，具體包括：

對恢復的圖像和對應的清晰圖像計算均方誤差和邊緣損失，這兩種損失具體為: