[發明專利]一種基于殘差先驗注意力機制的并行單幅圖像去雨方法

在審

• 申請號: 202211292236.8
• 申請日: 2022-10-20
• 公開（公告）號: CN115689918A
• 公開（公告）日: 2023-02-03
• 發明（設計）人: 張丹;許應兵;張翔宇;陳耀然;李孝偉;周熙;彭艷
• 申請（專利權）人: 上海大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06V10/764;G06V10/774;G06V10/80;G06V10/74;G06N3/0464;G06N3/08
• 代理公司: 上海新隆知識產權代理事務所(普通合伙) 31366
• 代理人: 劉蘭英

1.一種基于殘差先驗注意力機制的并行單幅圖像去雨方法，其特征在于，包括以下步驟：

1)獲取待去雨圖像；

2)通過圖像細節提取網絡提取圖片細節特征信息；

3)通過雨線特征提取網絡提取圖片雨線特征信息；

4)通過特征融合網絡融合所述細節特征信息和雨線特征信息；

5)完成去雨。

2.根據權利要求1所述的一種基于殘差先驗注意力機制的并行單幅圖像去雨方法，其特征在于，所述步驟1)中首先獲取模型訓練圖片，圖像由不帶雨的清晰圖像和待去雨圖像組成，待去雨圖像通過在清晰圖像上疊加仿真的雨線和雨滴獲得，待去雨圖像和不帶雨的清晰圖像一一對應，所有圖像按照9:1的比例劃分訓練集和測試集。

3.根據權利要求1所述的一種基于殘差先驗注意力機制的并行單幅圖像去雨方法，其特征在于，所述圖像細節提取網絡由多個Unet模塊并聯組成，如以下公式所示：

式中，代表細節特征圖，特征圖大小為(Nx16)x128x128，Cat代表數組拼接操作，u_i代表Unet模塊，x為待去雨圖像，并包括編碼器和解碼器，該編碼器和解碼器主要由卷積模塊，激活模塊，上采樣和下采樣模塊組成，編碼器和解碼器之間相同大小的特征層使用跳躍連接。

4.根據權利要求3所述的一種基于殘差先驗注意力機制的并行單幅圖像去雨方法，其特征在于，所述圖像細節提取網絡的輸入為待去雨圖像，圖像的通道數為3，首先將會送入編碼器進行編碼操作，編碼器隨著網絡的深入，每經過一個卷積模塊和激活模塊進行特征提取，就會通過下采樣方法將特征圖的高和寬轉化為原來的一半，一共經過四次下采樣，各層通道數分別為16、32、64、128和256；解碼器與編碼器相反，每經過一次卷積模塊和激活模塊便會進行一次上采樣操作。

5.根據權利要求4所述的一種基于殘差先驗注意力機制的并行單幅圖像去雨方法，其特征在于，所述待去雨圖像通過N個相互并聯的輕量化的簡化版Unet之后，將會得到n個通道數為16的特征圖，隨后通過拼接操作，在通道維度上將輸出的各個特征圖信息拼接在一起得到一個通道數為Nx16的最終特征信息作為所述圖像細節提取網絡的輸出。

6.根據權利要求1所述的一種基于殘差先驗注意力機制的并行單幅圖像去雨方法，其特征在于，所述雨線特征提取網絡的輸入為待去雨圖像，輸出為雨線特征圖，雨線特征提取網絡首先通過一個3x3的卷積運算，將通道數為3的待去雨圖像轉化為可用于后續計算的特征圖，特征圖層數由特征提取模塊決定，隨后送入多個串聯的特征提取模塊由淺入深提取圖像特征信息，各個特征提取模塊由殘差先驗注意力模塊(RSAM)連接，如以下公式所示：

式中，為第i次殘差先驗注意力模塊的輸出特征圖，F_RSAM為殘差先驗注意力模塊，δ為特征提取模塊。

7.根據權利要求6所述的一種基于殘差先驗注意力機制的并行單幅圖像去雨方法，其特征在于，所述特征提取模塊由四個卷積模塊串聯組成，每個卷積模塊由3x3卷積、激勵壓縮模塊、批歸一化以及激活函數Leaky Relu組成，每層卷積的通道數不固定，根據任務難度以及推演幀率決定；壓縮激勵模塊放在卷積運算之后，學習卷積過程當中通道之間的相關性，通過融合每個特征內的全局信息，對輸入的信息矩陣內的每一個通道分配一個權重。