[發明專利]一種多尺度融合卷積神經網絡圖像去霧方法

在審

• 申請號: 202011069293.0
• 申請日: 2020-09-30
• 公開（公告）號: CN112164010A
• 公開（公告）日: 2021-01-01
• 發明（設計）人: 張闖;喬丹;朱晨雨
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06K9/46
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 戴朝榮

本發明公開了一種多尺度融合卷積神經網絡圖像去霧方法，步驟如下：S1、搭建去霧圖像預處理模型，對原始有霧圖像進行預處理，提取有霧圖像淺層特征；S2、構建多尺度融合卷積神經網絡模型，深度學習有霧圖像特征，得到粗透射率圖；S3、對多尺度融合卷積神經網絡模型得到的粗透射率圖使用雙邊濾波進行優化，得到細透射率圖；S4、使用粗傳播率圖和原始有霧圖像求大氣光值，根據大氣散射模型和細透射率圖復原得到無霧圖。本發明復雜度低、處理速度較快，實現了更精確的無霧圖像的復原，具有很好的視覺效果。

技術領域

本發明屬于圖像去霧技術領域，具體涉及一種多尺度融合卷積神經網絡圖像去霧方法。

背景技術

受霧霾等惡劣天氣的影響，大氣中懸浮的塵粒和水滴在大氣光的散射和吸收中形成霧霾，導致被觀測物體的反射光在到達相機或監控設備前產生衰減，最終得到的戶外圖像質量下降，圖像的色彩飽和度和對比度下降，從而丟失很多重要的細節信息，不利于圖像特征的提取和辨識，也增加了對圖像進行后續處理的難度。因此，研究如何對霧天場景下獲得的退化圖像進行有效處理，對大氣退化圖像的復原和景物細節信息的增強有著非常重要的意義。

目前，得到有霧圖像的透射率圖已成為去霧技術的關鍵。如CAI提出的方法利用卷積神經網絡來學習有霧圖像的特征以估計透射率圖，進而反演出無霧圖像。但該卷積神經網絡較淺，對于很多特定場景，易出現顏色失真、細節丟失和去霧過度等現象。

發明內容

本發明針對傳統去霧算法對于各種先驗信息的依賴和深度學習算法對于霧圖細節信息丟失的問題，提出了一種多尺度融合卷積神經網絡(CNN)圖像去霧算法。該方法通過學習霧天圖像與大氣透射率之間的映射關系實現圖像去霧。在模型建立過程中，根據大氣散射形成霧圖的機理，設計了一個端到端的多尺度融合CNN深度學習模型。首先通過卷積層運算搭建去霧圖像預處理模型，提取有霧圖像的淺層特征，接著利用多尺度卷積核并行提取得到霧圖的深層特征，然后提取到的深層特征進行特征融合，通過非線性回歸得到霧圖對應的粗透射率圖。對多尺度融合卷積神經網絡模型得到的粗透射率圖使用雙邊濾波進行優化，得到細透射率圖。最后根據大氣散射模型和細透射率圖復原得到無霧圖。

為實現上述目的，本發明采用以下技術方案：一種多尺度融合卷積神經網絡圖像去霧方法，步驟如下：

S1、搭建去霧圖像預處理模型，對原始有霧圖像進行預處理，提取有霧圖像淺層特征；

S2、構建多尺度融合卷積神經網絡模型，深度學習有霧圖像特征，得到粗透射率圖；

S3、對多尺度融合卷積神經網絡模型得到的粗透射率圖使用雙邊濾波進行優化，得到細透射率圖；

S4、使用粗傳播率圖和原始有霧圖像求大氣光值，根據大氣散射模型和細透射率圖復原得到無霧圖。

為優化上述技術方案，采取的具體措施還包括：

步驟S1具體如下：

采用2個連續尺寸大小為3×3的卷積層，對原始有霧圖像進行預處理，每層卷積核之間通過局部連接、權值共享的方式與輸入圖像進行運算，提取有霧圖像淺層特征，卷積公式為：

式中，*表示卷積，m和a為特征圖的個數；c表示第c個卷積層；f_a，c+1為第c+1卷積層輸出的a個特征圖，X_m，a，c+1為第c+1層的卷積核，σ[·]為激活函數，b_a，c+1為第c+1卷積層的偏置項，激活函數σ[·]選擇改進的帶參數的修正線性單元LRelu。