[發明專利]基于仿真偏振帶霧場景數據集的圖像去霧方法

有效

• 申請號: 202110034043.1
• 申請日: 2021-01-11
• 公開（公告）號: CN112767267B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 陸峰;溫思嘉
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06V10/80;G06V10/82;G06N3/04
• 代理公司: 北京唯智勤實知識產權代理事務所(普通合伙) 11557
• 代理人: 陳佳

本公開的實施例公開了圖像去霧方法。該方法的一具體實施方式包括：獲取偏振無霧場景圖像集，基于偏振無霧場景圖像集中的每個偏振無霧場景圖像，生成第一五元組，得到第一五元組集；從第一五元組集中的每個第一五元組包括的顯著偏振圖像中提取滿足預設條件的像素坐標，得到像素坐標組，以生成第二五元組；基于第二五元組集中的每個第二五元組生成仿真偏振帶霧場景圖像序列，得到仿真偏振帶霧場景數據集；基于偏振無霧場景圖像集和仿真偏振帶霧場景數據集，設計偏振狀態關注神經網絡；獲取偏振帶霧場景圖像，以及將偏振帶霧場景圖像輸入到偏振狀態關注神經網絡，得到偏振去霧圖像。該實施方式在光照條件較差的場景中，依然可以提高圖像去霧的準確度。

技術領域

本公開的實施例涉及計算機視覺和圖像處理領域，具體涉及圖像去霧方法。

背景技術

在惡劣的天氣條件下采集的圖像往往會受到霧的影響。由于光線會被空氣中的粒子所干擾，因此捕獲的圖像質量往往會明顯地下降，如對比度差、顏色保真度不真實以及場景細節的丟失。這種圖像質量的下降對于廣泛的計算機視覺任務來說是一種普遍的障礙。例如，城市交通監測，戶外視頻監控以及自動駕駛等計算機視覺任務。因此，需要通過去霧處理來提升在惡劣天氣條件下采集的圖像質量。

傳統的基于顏色或基于偏振的去霧算法，通常會引入先驗知識或對全局大氣光的計算做出一些假設。這類先驗和假設，在某些情況下會導致錯誤的去霧結果，從而使得去霧后的圖像質量下降甚至產生顏色偏差。此外，這些方法還會在去霧的過程中放大圖像的噪聲，從而使得去霧的結果出現大面積噪點。如圖1所示，本發明標注的用以計算全局大氣光的參考像素相較估計的深度信息以及先驗假設信息得到更加合理的標注結果。

隨著深度學習技術的發展，越來越多的方法嘗試利用訓練一個神經網絡得到更好的圖像去霧效果。這類深度學習的方法通常依賴于帶有真值的數據集。而現階段并不存在適用于遠距離深度采集的傳感器。因此，這類數據驅動的方法往往在合成的數據集(例如RESIDE數據集)上進行訓練，其中，RESIDE數據集是一個霧天圖像數據集，通過對采集的場景圖像進行深度估計，該數據集通過選擇適當的散射系數來合成相應的仿真數據。但是，估計的深度信息總是粗糙且不準確的，這使得合成的帶霧場景圖像在視覺上不真實且在物理上不可靠。因此，在這類依靠估計深度合成的數據集上訓練的神經網絡不能很好地推廣到真實場景中。考慮到帶霧場景成像過程的復雜性和不確定性，圖像去霧仍然是一項非常具有挑戰性的任務。

發明內容

本公開的內容部分用于以簡要的形式介紹構思，這些構思將在后面的具體實施方式部分被詳細描述。本公開的內容部分并不旨在標識要求保護的技術方案的關鍵特征或必要特征，也不旨在用于限制所要求的保護的技術方案的范圍。

考慮到現階段不存在可以應用于遠距離場景的深度測量傳感器，而帶霧場景中穿過霧的光照是部分偏振光的事實，本發明提出了在深度學習環境中利用偏振和顏色對偏振彩色圖像，對帶霧場景圖像進行清晰化去霧處理。本發明觀察到利用偏振信息可以更精確地估計全局大氣光值，這可以顯著地提高合成數據的真實性和物理意義上的準確性。之前的方法一般對場景圖像的深度信息進行了不準確的估計，與之不同的是，本發明通過直接采集偏振彩色圖像，提出一種偏振帶霧場景的仿真方法來構建帶有真值的數據集。基于對偏振彩色圖像的偏振信息的分析，提出了利用偏振信息來模擬帶霧場景圖像的仿真策略。得益于偏振的物理學意義，可以預期，在仿真偏振帶霧場景數據集上訓練的深度神經網絡，可以很好地推廣到真實的帶霧場景圖像中。偏振信息包括總強度圖像、顯著偏振圖像，偏振角度圖像和最淡霧度圖像。

在仿真偏振帶霧場景數據集的基礎上，本發明提出了一個端到端的PSANet(Polarization state attention network，偏振狀態關注神經網絡)，重點解決偏振特征提取和基于偏振信息的圖像去霧這兩個問題?；谏疃葘W習中的注意力機制，本發明提出了一個偏振特征提取模塊，可以有效且準確地提取帶霧場景圖像的偏振特征。在獲得偏振特征之后，本發明提出一個偏振去霧模塊，通過結合使用基于偏振透射模型和偏振去霧模型來對帶霧場景圖像進行清晰化去霧處理。