[發明專利]一種圖像處理方法及裝置

在審

• 申請號: 202111469789.1
• 申請日: 2021-12-03
• 公開（公告）號: CN116245738A
• 公開（公告）日: 2023-06-09
• 發明（設計）人: 王凱歌;常琳;蔣華濤;陳龍;王天明;陳大鵬
• 申請（專利權）人: 中國科學院微電子研究所
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/08;G06N3/0464;G06V10/764;G06V10/44;G06V10/82
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 柳虹

本申請提供一種圖像處理方法及裝置，利用去雨神經網絡，對待處理圖像進行去雨處理，得到去雨圖像；去雨神經網絡包括依次連接的第一卷積層、第一殘差層和第二卷積層，利用降噪神經網絡，對去雨圖像進行降噪處理，得到降噪圖像，充分考慮了降雨及降雨帶來的附加噪聲，去雨神經網絡可以提取降雨特征圖像，降噪神經網絡可以提取噪聲特征圖像，待處理圖像為降雨特征圖像、噪聲特征圖像和降噪圖像的總和，從成像理論上補充完善了有雨圖像的構成因素，使去雨效果準確且明顯，利用殘差層和卷積層進行數據處理，使去雨方法具有較好的泛化性和可靠性、實時性，基于降噪圖像進行的目標檢測也具有更高的準確性。

技術領域

本申請涉及計算機領域，特別涉及一種圖像處理方法及裝置。

背景技術

環境感知在自動駕駛車輛的可靠決策中起著重要作用，在過去的十年里，感知領域取得了巨大的進步。然而，目前的感知方向主要集中在目標檢測，尤其是良好天氣條件下的目標檢測，對于惡劣天氣(例如雨雪霧等天氣)的車輛環境感知研究還不夠完善，使惡劣天氣條件下的感知仍然是一個難題。實際上，在惡劣天氣下，車輛更需要準確、實時和高效的環境感知，惡劣天氣例如降雨天氣在日常生活中經常出現，雨滴和雨霧的產生作為一個復雜的大氣過程會導致不同類型的能見度下降，從而對環境感知任務，例如圖像分割，目標檢測，模式識別等的魯棒性(即抗干擾性)造成不利影響。

在利用傳統的計算機視覺方法進行圖像去雨時，常用的方法是模型驅動方法，利用雨水的物理特性和背景場景的先驗知識來進行去雨優化。典型技術有如形態成分分析、非局部均值濾波、稀疏編碼(Coding，COD)去雨和高斯混合模型(Gaussian?mixture?model，GMM)等。此類去雨方法計算復雜度高、處理耗時長、去雨效果不明顯，無法在路側端或車輛端實現高效、實時的圖像去雨效果。而且，降雨過程中，相機附近的雨滴/雨帶傾向于阻礙或扭曲背景場景內容，而遠處的雨帶傾向于產生霧或霧等大氣遮蔽效果并模糊圖像內容，此類附加噪聲的產生及環境中的高斯噪聲、泊松噪聲等噪聲更加干擾目標檢測算法的正常工作。

發明內容

有鑒于此，本申請的目的在于提供一種圖像處理方法及裝置，可應用于降雨環境下路側或行車相機的高準確率目標檢測。其具體方案如下：

第一方面，本申請提供了一種圖像處理方法，包括：

利用去雨神經網絡，對待處理圖像進行去雨處理，得到去雨圖像；所述去雨神經網絡包括依次連接的第一卷積層、第一殘差層和第二卷積層，所述第一卷積層用于模糊化所述待處理圖像，所述第一殘差層用于從所述待處理圖像中提取降雨特征圖像，所述第二卷積層用于模糊化所述降雨特征圖像；所述去雨圖像通過所述待處理圖像和所述降雨特征圖像的相減操作得到；

利用降噪神經網絡，對所述去雨圖像進行降噪處理，得到降噪圖像；所述降噪神經網絡包括依次連接的第三卷積層、第二殘差層和第四卷積層；所述第三卷積層用于模糊化所述去雨圖像，所述第二殘差層用于從所述去雨圖像中提取出噪聲特征圖像，所述第四卷積層用于模糊化所述噪聲特征圖像；所述降噪圖像通過所述去雨圖像和所述噪聲特征圖像的相減操作得到；

其中，所述去雨神經網絡和所述降噪神經網絡通過訓練圖像同時訓練得到，所述訓練圖像包括成對的具有降雨特征的圖像和不具有降雨特征的圖像。

可選的，所述去雨神經網絡還包括與所述第一卷積層連接的第一像素重組層，以及與所述第二卷積層連接的第二像素重組層，所述第一像素重組層用于在對所述待處理圖像進行模糊化之前，降低所述待處理圖像的分辨率，所述第二像素重組層用于在對所述降雨特征圖像進行模糊化之后，提高所述降雨特征圖像的分辨率；

所述降噪神經網絡還包括與所述第三卷積層連接的第三像素重組層，以及與所述第四卷積層連接的第四像素重組層，所述第三像素重組層用于在對所述去雨圖像進行模糊化之前，降低所述去雨圖像的分辨率，所述第四像素重組層用于在對所述噪聲特征圖像進行模糊化之后，提高所述噪聲特征圖像的分辨率。