[發明專利]一種基于殘差先驗注意力機制的并行單幅圖像去雨方法

在審

• 申請號: 202211292236.8
• 申請日: 2022-10-20
• 公開（公告）號: CN115689918A
• 公開（公告）日: 2023-02-03
• 發明（設計）人: 張丹;許應兵;張翔宇;陳耀然;李孝偉;周熙;彭艷
• 申請（專利權）人: 上海大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06V10/764;G06V10/774;G06V10/80;G06V10/74;G06N3/0464;G06N3/08
• 代理公司: 上海新隆知識產權代理事務所(普通合伙) 31366
• 代理人: 劉蘭英

本發明公開一種基于殘差先驗注意力機制的并行單幅圖像去雨方法，包括1)獲取待去雨圖像；2)通過圖像細節提取網絡提取圖片細節特征信息；3)通過雨線特征提取網絡提取圖片雨線特征信息；4)通過特征融合網絡融合所述細節特征信息和雨線特征信息；5)完成去雨。本發明通過殘差先驗注意力模塊強化有效特征信息弱化無關項，提高了模型的去雨性能；通過合理的細節特征和雨線特征的融合及微調網絡，提高模型的去雨性能。

技術領域

本發明涉及一種基于殘差先驗注意力機制的并行單幅圖像去雨方法。

背景技術

惡劣的天氣狀況會導致攝像頭等圖像采集設備獲取到低質量的圖像，這些圖像通常會細節丟失和信號失真，但輸入高質量的干凈圖像是許多計算機視覺應用的使用前提。有雨環境正是一種典型的惡劣天氣，圖像中的雨線使圖像模糊，丟失大量信息。雨天條件會影響圖像的生成質量，給視覺帶來影響的同時會減低計算機視覺算法的性能。單幅圖像去雨目前仍是具有挑戰性的一項任務，現有算法在去除雨紋的同時會造成背景細節紋理的丟失。

(1)殘差網絡：殘差網絡(Residual Network)是一種非常有效的緩解梯度消失問題網絡，提出之后大大加深了當時網絡的深度。殘差單元可以以跳層連接的形式實現，即將單元的輸入直接與單元輸出加在一起，然后再激活。因此殘差網絡可以輕松地用主流的自動微分深度學習框架實現，直接使用BP算法更新參數損失對某低層輸出的梯度。

(2)注意力機制:注意力機制本質上與人類視覺選擇性注意力機制類似，從眾多信息中選出對當前任務目標更為關鍵的信息，通過手段獲取每張特征圖重要性的差異，抑制無用信息，凸顯有用信息(將注意力集中在圖中重要區域)。廣泛用于自然語言處理，圖像識別和語言識別當中。

(3)圖像增強:圖像增強是有目的地強調圖像的整體或局部特性，例如改善圖像的顏色、亮度和對比度等，將原來不清晰的圖像變得清晰或強調某些感興趣的特征，擴大圖像中不同物體特征之間的差別，抑制不感興趣的特征，提高圖像的視覺效果。近年來，卷積神經網絡在很多低層次的計算機視覺任務中取得了巨大突破，包括圖像超分辨、去模糊、去雨、去噪、圖像增強等。

目前現有的去雨方法將重心放在提高模型的參數量和深度去清除雨線問題上，盡管雨線去除的效果不錯，但是忘記了圖像細節屬于低維特征，并不需要非常深的網絡提取。去雨的目的不僅是為了去除雨線，同時也要保留和恢復圖像的細節信息。以便于用于后續的高級圖像處理任務。

發明內容

為解決以上現有技術存在的問題，本發明提出一種基于殘差先驗注意力機制的并行單幅圖像去雨方法，通過注意力機制選出去雨任務更關鍵的信息，提高去雨效果，同時設計一個低維特征提取網絡，用多個簡化版的Unet模型并聯保留和恢復圖像細節信息。

本發明可通過以下技術方案予以實現：

一種基于殘差先驗注意力機制的并行單幅圖像去雨方法，包括以下步驟：

1)獲取待去雨圖像；

2)通過圖像細節提取網絡提取圖片細節特征信息；

3)通過雨線特征提取網絡提取圖片雨線特征信息；

4)通過特征融合網絡融合所述細節特征信息和雨線特征信息

5)完成去雨。

進一步地，所述步驟1)中首先獲取模型訓練圖片，圖像由不帶雨的清晰圖像和待去雨圖像組成，待去雨圖像通過在清晰圖像上疊加仿真的雨線和雨滴獲得，待去雨圖像和不帶雨的清晰圖像一一對應，所有圖像按照9:1的比例劃分訓練集和測試集。

進一步地，所述圖像細節提取網絡由多個Unet模塊并聯組成，如以下公式所示：