[發明專利]一種基于雙路殘差卷積神經網絡的圖像去霧方法

有效

• 申請號: 202011214129.4
• 申請日: 2020-11-04
• 公開（公告）號: CN112365414B
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 李岳楠;徐浩宇
• 申請（專利權）人: 天津大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 韓帥

本發明公開了一種基于雙路殘差卷積網絡的圖像去霧方法，所述方法包括以下步驟：基于大氣散射模型，通過無霧圖像和已知的景深，隨機選取全局大氣光和大氣散射系數，由無霧圖生成有霧圖，建立訓練集；網絡結構由特征預提取模塊、特征轉換模塊和圖像恢復模塊搭建，特征預提取模塊提取的特征分為兩個尺度，特征轉換模塊利用級聯的雙路殘差卷積單元對相同尺度的特征作殘差連接，能夠提取不同尺度感受野的霧霾信息；采用L1范數損失函數、結構相似性損失函數、圖像梯度損失函數和感知損失函數的線性組合訓練去霧網絡；將單幅有霧圖像訓練好的去霧網絡，得到去霧圖像；本發明不需要復雜的假設和先驗，可以直接從單幅有霧圖像恢復出無霧圖像。

技術領域

本發明涉及圖像處理技術與深度學習技術領域，尤其涉及一種基于雙路殘差卷積神經網絡的圖像去霧方法。

背景技術

霧霾是一種常見的大氣現象。霧在空氣的相對濕度達到飽和時產生，此時空氣中的一些水汽會凝結成小水滴。霾由氣溶膠顆粒組成，這是一種懸浮在空氣中的灰塵顆粒。霧和霾有著相同的起因，當濕度足夠時霾也可以轉化成霧。這種常見的天氣狀況，是導致圖像質量降低的重要原因之一。

很多機器視覺系統的穩定性依賴輸入圖像的質量。在監控、識別、自動駕駛等應用中，霧霾則會降低輸入圖像的質量，從而導致更嚴重的系統判斷或決策錯誤。大氣中的霧霾顆粒對光線的吸收和散射導致了圖像的低分辨率、低對比度和顏色失真，圖像質量的降低增加了監控分析和目標識別的難度。在道路監控中，霧霾會影響到車輛和行人的準確識別。在自動駕駛中，捕捉到的圖像質量降低，可能導致系統作出錯誤的判斷，從而引發安全事故。

圖像去霧可以分為圖像增強的方法和圖像復原的方法。圖像增強從圖像處理的角度出發，通過增強圖像的對比度和飽和度等方式來改善圖像的視覺效果，這種方法中比較主流的有直方圖均衡法、Retinex算法、基于小波變換的方法等。

圖像復原的方法將霧霾看做是加在原圖上的一種噪聲，通過建立物理模型恢復出原始圖像，由于其更具有理論支撐，更加注重霧霾對圖像帶來的影響及物理規律，在近年來的研究中獲得了更廣泛的關注。圖像復原的方法又可以分為基于額外信息的方法、基于先驗條件的方法，以及基于深度學習的方法。基于額外信息的方法無法僅通過單幅圖像完成去霧，需要借助額外的場景圖像信息、深度信息或三維建模信息等。基于先驗的方法采用人工提取的先驗特征作為前提，在此基礎上進行圖像去霧，例如，He等人^[1]提出了暗通道先驗，該先驗假設無霧圖像中(除了天空和亮度很大的區域以外)，總有某些像素點的一個顏色通道的像素值接近于0，并結合大氣散射模型，利用已知的有霧圖可以反推出圖像傳輸率，從而可以得到無霧圖像。

基于先驗的方法盡管易于實現，在一些條件下也有不錯的效果，但是其基于的假設未經證明，存在一定的不可靠性。近年來，基于深度學習的方法由于其更穩定的效果、更廣泛的適用性越來越被重視。基于深度學習的方法能夠直接從數據中學習到有霧圖和無霧圖之間的關系，而不需要人為的干預。例如，Cai等人^[2]提出的DehazeNet是一個基于圖像傳輸率的模型，它能夠直接訓練出有霧霾圖像和其對應的傳輸率之間的映射關系，進而通過大氣散射模型恢復出無霧圖。Ren等人^[3]提出了一種多尺度的卷積神經網絡MSCNN，它先生成一個粗尺度的傳輸率，然后逐漸細化它，最后通過細化的傳輸率恢復無霧圖像。

在現有技術中，圖像增強的方法通常存在顏色失真、細節丟失等問題；基于物理模型的方法盡管在去霧上能取得更好的效果，但是物理模型是一個欠定方程，準確地恢復出無霧圖像具有一定的難點，現有技術通常是通過估計圖像傳輸率和全局大氣光等中間參數間接地實現去霧，恢復無霧圖時誤差會被放大，從而影響去霧圖的質量。因此，設計一種能夠直接學習有霧圖和無霧圖之間變換關系的方法，實現對不同場景不同尺寸圖像的去霧，具有更高的實用價值。

發明內容