[發明專利]基于編解碼結構的深度分層去霧網絡

在審

• 申請號: 202210534303.6
• 申請日: 2022-05-17
• 公開（公告）號: CN114862719A
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 裴文江;楊洋;夏亦犁
• 申請（專利權）人: 東南大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/11;G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 任志艷

本發明公開了一種基于編解碼結構的深度分層去霧網絡，將輸入圖像分割成多個小圖像塊，網絡的下層是細粒度圖像塊，上層是粗粒度圖像塊，下層網絡將學習到的局部特征疊加到上層，提高了提取特征的可重用性。每一層網絡之間通過殘差連接將下層網絡的重建圖像與上一層網絡的輸入圖像進行元素級相加，使得上層網絡可以共享下層網絡的局部信息，從而專注于提取其他關鍵特征。另外，該模型在每一層中使用了新的編碼器解碼器結構，摒棄了廣泛使用的殘差塊，選擇殘差通道注意力模塊，根據各個通道之間的相關性，為每個通道的特征圖分配相應權重，使每一層網絡繞過圖像的低頻信息，專注于學習更關鍵的高頻信息，提高了去霧網絡的表征能力。

技術領域

本發明涉及一種基于編解碼結構的深度分層去霧網絡，屬于圖像處理技術領域。

背景技術

霧的形成是因為大氣中存在渾濁介質，如漂浮的灰塵、微粒、水滴，大氣光照射時遇到這些懸浮顆粒物會發生散射現象。在這種環境中拍攝圖像，拍攝物體的反射光在到達成像設備的過程中一直退化，這種退化是空間可變的，散射量取決于場景點與攝像機之間的距離，同時反射光與觀察者直接接收到的光線疊加后，最終造成觀察者獲取到的圖像有顏色失真、紋理模糊和細節信息大量丟失的問題。

因為圖像是人們了解信息、觀察世界、分享見聞的一個重要媒介，低質量的霧霾圖像通常會起到嚴重的干擾作用。在目標檢測、衛星遙感、圖像分類等高級計算機視覺任務中，我們需要了解到圖像所拍攝到的精確環境信息，而霧霾的存在往往會將一些潛在信息隱藏，從而影響到后續研究的準確性和精確度。因此在過去的十年里，克服因霧霾所導致的圖像退化問題，從有霧圖像中恢復清晰的圖像一直是一項具有現實意義但同時也很有挑戰性的任務。

然而，模糊圖像中霧霾的分布是十分復雜的，不同圖像區域的霧霾濃度并不一致，圖像中的場景對象由于霧霾的遮擋，原有的顏色、細節與結構被破壞，想要重建高質量的無霧圖像并不容易。近年來，單圖去霧算法受到了國內外學者的廣泛關注，很多有效的去霧模型被提出，其中基于物理模型的單圖去霧算法和基于端到端的單圖去霧算法取得了顯著成效。

基于物理模型的去霧算法從數學角度描述霧圖成像原理，通過估計模型中的未知參數，推演霧天模糊圖像的降質過程，最后恢復出無霧的干凈圖像。該類算法主要分為兩種，一種是通過各種先驗知識來對大氣散射模型施加約束，從而估計出圖像對應的傳輸映射、全局大氣光等參數。另一種是通過搭建神經網絡模型來估計出有霧圖像的傳輸圖等信息，從而重建無霧圖像，其擺脫了對先驗知識的依賴，更準確地估計出了大氣散射模型中的傳輸映射。基于物理模型的去霧算法使單圖去霧變得更簡單、更有效，但是一方面基于觀察得到的先驗知識只是一種統計信息，無論對先驗的依賴有多強，在這些先驗不成立的情況下，去霧效果就顯得不盡人意，適用范圍有很大的局限性。另一方面，很多深度學習算法中會將全局大氣光當作是一個常量來簡化模型，這樣并不能夠準確恢復出真實的無霧圖像，會導致去霧模型不夠健壯，不利于推廣。

另一種基于深度學習的去霧算法則是直接以端到端的方式來重建清晰圖像，該類方法可以在一定程度上避免大氣散射模型的弱點，將探索合適的手工先驗問題簡化為構建合適的神經網絡結構的問題。基于大規模的成對數據集直接學習模糊圖像與無霧圖像之間的映射關系，從而直接輸入模糊有霧圖像，就能生成對應的無霧清晰圖像。因為這種端到端的去霧算法并不依賴于大氣散射物理模型，對不均勻的霧霾圖像也能夠處理得很好，更具普適性。基于端到端的去霧算法的技術難點主要來源于兩個方面，一是獲取大規模真實數據集并不現實，因此構建的網絡模型不僅要求能夠學習霧霾圖像的分布規律，還需要有很好的泛化能力，使其適用于其他真實霧圖；二是網絡模型運行效率問題，想要完美平衡內存參數與去霧性能并不是一件容易的事情，如何構建簡單高效的去霧網絡值得深思。

發明內容

技術問題：隨著卷積神經網絡在圖像處理領域嶄露頭角，越來越多的學者將其引入單圖去霧任務中，然而目前的去霧算法依然存在以下兩個問題：