[發明專利]一種基于深度學習的圖像去霧方法

在審

• 申請號: 201711347566.1
• 申請日: 2017-12-15
• 公開（公告）號: CN108564535A
• 公開（公告）日: 2018-09-21
• 發明（設計）人: 韓松臣;余麗莎;黃暢昕
• 申請（專利權）人: 四川大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

霧或霾天氣下圖像質量嚴重退化，對比度低，清晰度差。利用傳統方法去霧經常會產生色偏和失真，這里提出一種新的圖像去霧方法：首先利用本文設計的深度卷積神經網絡提取圖像的顏色，紋理，結構等特征并進行映射，得到各像素點場景深度，再將深度值代入大氣散射模型，推算得到無霧圖像。這種方法充分利用了卷積神經網絡強大的特征提取和學習能力，改進了傳統去霧方法存在的紋理細節丟失，顏色失真等問題。

技術領域

本發明屬于計算機圖像處理領域，具體涉及到一種用于圖像去霧的方法。

背景技術

在霧或霾天氣下圖像質量嚴重退化，對比度低，清晰度差，影響了計算機圖像處理中特征的提取分析以及目標的檢測，而圖像去霧可以提升場景可見度，修正顏色偏移，因此圖像的去霧處理具有廣泛的需求。

傳統的圖像去霧方法主要分為兩類：圖像增強法和圖像復原法。圖像增強法是對質量降低的圖像做增強處理，提升圖像的對比度和色彩飽和度，如Retinex算法，伽馬校正，直方圖均衡等。這類方法的優點是操作簡單，速度快，突出顯示圖像中有用的信息，但是這種方法沒有對有霧圖像的形成原因進行補償，對圖像中細節的處理并不理想，使得圖像中的有用信息部分損失。圖像復原法基于大氣散射物理模型，通過對有霧圖像降質原因的分析，并有效利用先驗知識，來恢復原始圖像。

由于圖像復原法更具有針對性，可以取得更理想的去霧效果，因此成為圖像去霧領域的研究熱點。Tan提出基于清晰圖像比有霧圖像對比度高的統計規律，采用對比度區域最大法進行去霧，這種方法增強了圖像對比度，但由于沒有從成像機理的角度恢復顏色和邊緣等信息，導致復原后的圖像顏色過于飽和，并且景深不連續處會有嚴重的Halo效應；Fattal假設場景目標輻射與介質傳輸具有局部區域統計不相關性，再通過獨立成分分析法估計出場景輻射率，進而得到無霧圖像，去霧效果較好，但對于灰度圖像和濃霧天氣并不適用；He提出基于暗通道先驗法則的去霧方法，該方法通過大量戶外無霧圖像獲取先驗知識，但是也具有一定的局限性，對雪地，天空等偏白的場景效果不理想。

深度學習的興起為圖像去霧提供了新方法。目前的相關研究包括利用三種顏色通道特征進行去霧，以及利用稀疏自動編碼機和人工提取多種特征，送入多層神經網絡訓練進行去霧等。相比于傳統去霧方法，深度學習方法可以充分利用到圖像的各種特征，包括顏色，紋理，結構等，具有廣闊的研究前景。

發明內容

基于對上述去霧方法的分析，本發明基于深度學習思想，提出一種將卷積神經網絡和大氣散射模型相結合的新的去霧方法。總體思路是利用一個訓練好的深度卷積神經網絡直接進行顏色，紋理，結構等各種圖像特征的提取，端到端輸出，得到各像素點場景深度，再將場景深度代入大氣散射模型，推算得到無霧圖像。

基于深度學習景深測量的圖像去霧方法具體實現如下：

(一)設計用于圖像景深測量的的深度卷積神經網絡，由5個卷積層和1個全連接層組成。其中第一個卷積層的卷積核大小為11×11，第二個卷積層的卷積核大小為5×5，后面三層的卷積核大小均為3×3，前兩層同時伴有池化操作，最大池化尺寸均為2×2。

(二)將有霧圖像輸入深度卷積神經網絡中，首先采用不同尺度的卷積核進行特征提取，使提取到的特征具有旋轉，平移不變性。卷積公式為：

其中：x_i為輸入特征圖，y_j為輸出特征圖，w_ij為卷積層中連接x_i和y_j的權值，*表示二維離散卷積運算，b_j為偏置參量，可通過訓練得到。

(三)將卷積階段檢測到的特征輸入非線性單元，進行非線性變換，這里采用不飽和非線性函數ReLU，公式如下：

R＝max(0，y)

梯度公式如下：