[發明專利]一種圖像處理方法及裝置

在審

• 申請號: 202111469789.1
• 申請日: 2021-12-03
• 公開（公告）號: CN116245738A
• 公開（公告）日: 2023-06-09
• 發明（設計）人: 王凱歌;常琳;蔣華濤;陳龍;王天明;陳大鵬
• 申請（專利權）人: 中國科學院微電子研究所
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/08;G06N3/0464;G06V10/764;G06V10/44;G06V10/82
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 柳虹

1.一種圖像處理方法，其特征在于，包括：

利用去雨神經網絡，對待處理圖像進行去雨處理，得到去雨圖像；所述去雨神經網絡包括依次連接的第一卷積層、第一殘差層和第二卷積層，所述第一卷積層用于模糊化所述待處理圖像，所述第一殘差層用于從所述待處理圖像中提取降雨特征圖像，所述第二卷積層用于模糊化所述降雨特征圖像；所述去雨圖像通過所述待處理圖像和所述降雨特征圖像的相減操作得到；

利用降噪神經網絡，對所述去雨圖像進行降噪處理，得到降噪圖像；所述降噪神經網絡包括依次連接的第三卷積層、第二殘差層和第四卷積層；所述第三卷積層用于模糊化所述去雨圖像，所述第二殘差層用于從所述去雨圖像中提取出噪聲特征圖像，所述第四卷積層用于模糊化所述噪聲特征圖像；所述降噪圖像通過所述去雨圖像和所述噪聲特征圖像的相減操作得到；

其中，所述去雨神經網絡和所述降噪神經網絡通過訓練圖像同時訓練得到，所述訓練圖像包括成對的具有降雨特征的圖像和不具有降雨特征的圖像。

2.根據權利要求1所述的方法，其特征在于，所述去雨神經網絡還包括與所述第一卷積層連接的第一像素重組層，以及與所述第二卷積層連接的第二像素重組層，所述第一像素重組層用于在對所述待處理圖像進行模糊化之前，降低所述待處理圖像的分辨率，所述第二像素重組層用于在對所述降雨特征圖像進行模糊化之后，提高所述降雨特征圖像的分辨率；

所述降噪神經網絡還包括與所述第三卷積層連接的第三像素重組層，以及與所述第四卷積層連接的第四像素重組層，所述第三像素重組層用于在對所述去雨圖像進行模糊化之前，降低所述去雨圖像的分辨率，所述第四像素重組層用于在對所述噪聲特征圖像進行模糊化之后，提高所述噪聲特征圖像的分辨率。

3.根據權利要求1所述的方法，其特征在于，所述第一卷積層包括兩層第一子卷積層和兩個第一子卷積層之間的第一非線性操作層；所述第一殘差層包括多層第二子卷積層；所述第二卷積層包括三層第三子卷積層，以及分別位于相鄰的第三子卷積層之間的兩層第二非線性操作層；所述第三卷積層包括兩層第四子卷積層和兩個第四子卷積層之間的第三非線性操作層；所述第二殘差層包括多層第五子卷積層；所述第四卷積層包括三層第六子卷積層，以及分別位于相鄰第六子卷積層之間的兩層第四非線性操作層。

4.根據權利要求1-3任一項所述的方法，其特征在于，所述方法還包括：

對所述降噪圖像進行識別，得到多個目標和各個目標的分類結果。

5.根據權利要求4所述的方法，其特征在于，對所述降噪圖像進行識別，得到多個目標和各個目標的分類結果，包括：

利用目標檢測卷積神經網絡，對所述降噪圖像進行識別；所述目標檢測卷積神經網絡包括分類任務分支和回歸任務分支；所述分類任務分支用于對所述降噪圖像進行識別得到各個目標的分類結果，所述回歸任務分支用于對所述降噪圖像進行識別，得到包圍目標的目標框信息和所述目標框信息的置信度。

6.一種圖像處理裝置，其特征在于，包括：

去雨神經網絡，用于對待處理圖像進行去雨處理，得到去雨圖像；所述去雨神經網絡包括依次連接的第一卷積層、第一殘差層和第二卷積層，所述第一卷積層用于模糊化所述待處理圖像，所述第一殘差層用于從所述待處理圖像中提取降雨特征圖像，所述第二卷積層用于模糊化所述降雨特征圖像；所述去雨圖像通過所述待處理圖像和所述降雨特征圖像的相減操作得到；

降噪神經網絡，用于對所述去雨圖像進行降噪處理，得到降噪圖像；所述降噪神經網絡包括依次連接的第三卷積層、第二殘差層和第四卷積層；所述第三卷積層用于模糊化所述去雨圖像，所述第二殘差層用于從所述去雨圖像中提取出噪聲特征圖像，所述第四卷積層用于模糊化所述噪聲特征圖像；所述降噪圖像通過所述去雨圖像和所述噪聲特征圖像的相減操作得到；

其中，所述去雨神經網絡和所述降噪神經網絡通過訓練圖像同時訓練得到，所述訓練圖像包括成對的具有降雨特征的圖像和不具有降雨特征的圖像。