[發明專利]雨天交通車輛圖像去雨方法、裝置、設備及可讀存儲介質

有效

• 申請號: 202110383945.6
• 申請日: 2021-04-09
• 公開（公告）號: CN113160078B
• 公開（公告）日: 2023-01-24
• 發明（設計）人: 陳婷;姚大春;高濤;仇會會;徐志剛;李永會;郭昶鑫
• 申請（專利權）人: 長安大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/30;G06N3/04
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 朱海臨

本發明公開了雨天交通車輛圖像去雨方法、裝置、設備及可讀存儲介質，自然環境光下，雨紋的大小和方向具有多樣性，現有的單幅圖像去雨算法采用普通卷積提取雨紋特征，特征圖的感受野隨著卷積層數的增加而呈線性增加，導致提取的細節信息與邊緣信息丟失嚴重，本發明首先采用膨脹卷構造多尺度膨脹卷積融合模塊，使不同大小和方向的雨紋特征取得不同的感受野，從而使得提取的特征信息更加豐富且不損失細節信息，其次引入注意力機制構造注意機制殘差塊，提取的注意特征能較好的實現復原圖像的同時，能夠將原來偏暗的背景圖像中目標邊緣特征增強，本發明方法可以有效的去除雨紋，避免丟失細節信息，為后續目標檢測等計算機視覺任務奠定良好的基礎。

技術領域

本發明屬于圖像處理技術領域，具體涉及雨天交通車輛圖像去雨方法、裝置、設備及可讀存儲介質。

背景技術

雨是最常見的惡劣天氣，它極大地降低了背景圖像的可見度，進而導致圖像質量產生退化現象，這給后續計算機識別任務帶來嚴重的挑戰。因此成功消除雨天對圖像造成的影響可以極大地提高計算機視覺系統的穩定性與精確度。

目前單幅圖像去雨算法主要分為基于先驗知識的傳統方法和基于深度學習方法兩大類。基于先驗知識的算法又分為基于像素級先驗的去雨算法和基于圖像塊先驗的去雨算法。典型的基于像素級先驗的去雨算法有基于引導濾波、雙邊濾波、非局部均值濾波等算法。這類算法具有較快的運行速度，但易造成圖像的過度平滑。另一類是基于圖像塊先驗的去雨算法，其思想是建立基于圖像塊的字典學習及稀疏表示模型。例如，基于圖像塊的字典學習模型、低秩模型、采用支持向量機和主成分分析法對雨紋進行判別并分類、利用高斯混合模型和基于塊的先驗去除雨紋等，但圖像的細節信息丟失很嚴重，并且傳統方法提取特征很復雜、效率低下。

隨著深度學習技術在計算機視覺領域取得不同程度的成功，越來越多的研究者將深度學習技術應用于圖像處理領域。深度學習方法避免了人工設計特征的復雜過程，能夠提取豐富的特征。2019年，Ren等人提出漸進遞歸殘差網絡(Progressive RecurrentNetwork，PReNet)，采用分階段思想去除雨紋，但該方法不能有效的復原背景偏暗的有雨圖像，尤其是在方向不同的強雨密度圖像下，去雨效果差。

發明內容

本發明的目的在于提供雨天交通車輛圖像去雨方法、裝置、設備及可讀存儲介質，以克服現有技術的不足。

為達到上述目的，本發明采用如下技術方案：

一種雨天交通車輛圖像去雨方法，包括以下步驟：

S1，對雨天交通圖像進行預處理，擴充雨天交通圖像數據集；

S2，對預處理后的雨天交通圖像采用三個不同大小的膨脹卷積獲取不同大小和方向的雨紋特征圖；

S3，將不同大小和方向的雨紋特征圖進行采樣成相同大小的尺度后進行融合得到融合后的雨紋特征，利用第一層基于注意機制的循環神經網絡提取注意特征得到第一階段有雨紋的圖像；

S4，將第一階段有雨紋的圖像與預處理后的雨天交通圖像拼接后依次重復步驟s2-s3實現階段性去雨，直至得到無雨圖像。

進一步的，雨天交通圖像數據集依次進行圖像反轉、對稱處理實現擴充數據集；雨天交通圖像集采用網上爬取或者交通采集獲取，將雨天交通數據集分為訓練集、測試集和驗證集。

進一步的，采用像素為5×5，7×7，9×9三種尺度分別獲取三個不同大小和方向的雨紋特征。

進一步的，將獲取的雨紋特征圖中最大尺度特征圖下采樣為中等尺度，將獲取的雨紋特征圖中最小尺度特征圖上采樣得到中等尺度，將下采樣的中等尺度雨紋特征圖、上采樣的中等尺度雨紋特征圖和步驟s2得到的中等尺度雨紋特征圖進行融合。