[發(fā)明專利]一種基于神經網絡的單一圖像去霧方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202211242330.2
• 申請日: 2022-10-11
• 公開（公告）號: CN116152080A
• 公開（公告）日: 2023-05-23
• 發(fā)明（設計）人: 王勇;邊宇霄;李新潮
• 申請（專利權）人: 吉林大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06V10/77;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 北京慕達星云知識產權代理事務所(特殊普通合伙) 11465
• 代理人: 符繼超

本發(fā)明公開了一種基于神經網絡的單一圖像去霧方法及系統(tǒng)；包括：獲取目標環(huán)境有霧圖像；對目標環(huán)境有霧圖像進行預處理，并在預處理期間對目標環(huán)境有霧圖像進行特征提取，獲得第一特征；依次通過多種尺度卷積核和編碼?解碼器對預處理后的目標環(huán)境有霧圖像進行特征提取，獲得第二特征；對第一特征和第二特征進行映射處理，獲得映射圖；將目標環(huán)境有霧圖像與映射圖進行concat連接，并基于卷積層獲得合并參數(shù)估計值；將合并參數(shù)估計值輸入到合并參數(shù)模型中，輸出去霧圖像；實現(xiàn)了用輕量級的網絡估計統(tǒng)一參數(shù)，得到比較優(yōu)秀且泛用的去霧效果，最后得到的去霧圖能夠保存更多的細節(jié)，有效的避免了常見去霧算法的細節(jié)丟失與色彩失真問題。

技術領域

本發(fā)明屬于圖像去霧技術領域，特別是一種基于神經網絡的單一圖像去霧方法及系統(tǒng)。

背景技術

在有霧或霾的場景中，光學傳感器捕獲的圖像會受到大氣顆粒的散射作用，導致圖像的細節(jié)缺失、色彩暗淡、亮度降低，圖像對比度和色彩保真度都會降低，這直接影響人們對圖像的視覺感知，還會影響圖像后期的處理，更會影響各類依賴于光學成像儀器的系統(tǒng)工作，如衛(wèi)星遙感系統(tǒng)、航拍系統(tǒng)、室外監(jiān)控和目標識別系統(tǒng)等。因此，圖像去霧是一項極具意義的工作。根據(jù)大氣散射模型，想要實現(xiàn)圖像去霧，要對大氣層系數(shù)和透射率進行較為準確地估計，這兩個重要的物理參數(shù)很難準確估計，這是圖像去霧領域面臨的重大挑戰(zhàn)。

何凱明博士的暗通道理論能夠根據(jù)有霧圖像的暗通道圖估計出大氣層系數(shù)和透射率，從而實現(xiàn)圖像去霧。然而，暗通道理論對于含有大片天空區(qū)域或者大片白色建筑等圖像處理效果并不好；快速恢復圖像可見性(FVR)方法與暗通道理論的方法不同，它沒有估計透射率和大氣光值，更加注重公式中的后半部分，由于沒有估計參數(shù)值，去霧速度較快，但效果較差；大氣光自適應恢復算法ATM則更加注重大氣光的估計，根據(jù)每個圖塊的像素在RGB顏色空間分布在同一條線上可求得大氣光值，不過通過該方法去霧的圖像可以有效地避免大氣光值偏差影響色彩失真；自動色階(AL)則是自動定義每個通道中最亮和最暗的像素作為白和黑，然后按比例重新分配其間的像素值,它能夠較為簡單地處理有霧圖像，但沒有特別明顯的效果。

隨著深度學習的高速發(fā)展，漸漸地大家也把深度學習應用到圖像去霧中，深度學習主要分為監(jiān)督學習和無監(jiān)督學習，圖像去霧也就由此產生兩種神經網絡訓練方法：一種是卷積神經網絡(CNN)進行模型估計，另一種是神經對抗網絡(GAN)生成去霧圖像。

在運用卷積神經網絡方法進行去霧中，較為典型的方法為DehazeNet采用的端到端的訓練模型，利用神經網絡對大氣退化模型中的透射率進行估計，模型輸入有霧圖像，輸出為透射率的估計值，然后恢復圖像；該網絡提出一種新的非線性激活函數(shù)，用來提升無霧圖像質量；FFA-NET(Feature?Fusion?Attention?Network?for?Single?Image?Dehazing)，提出了一種端到端的特征融合注意網絡(FFA-Net)，用于直接恢復無霧圖像。其中，F(xiàn)FA網絡體系結構考慮到不同的信道特征包含完全不同的加權信息，不同的圖像像素上的霧度分布不均勻，提出了一種新的特征注意(FA)模塊，將信道注意與像素注意機制相結合。FA不平等地處理不同的特征和像素，這為處理不同類型的信息提供了額外的靈活性，擴展了CNNs的表示能力；MSCNN是將輸入的有霧圖像通過訓練生成一個粗略的傳輸矩陣，再對其進行細化，其中難免會產生誤差；Gated?Context?Aggregation?Network?for?Image?Dehazingand?Deraining?2019WACV，利用GAN網絡，實現(xiàn)可端到端的圖像去霧；該文章的重點在于解決了網格偽影(grid?artifacts)的問題，其在PSNR和SSIM的指標上有了極大的提升。