[發明專利]一種基于多尺度和非局部的輕量去雨方法

有效

• 申請號: 202011102598.7
• 申請日: 2020-10-15
• 公開（公告）號: CN112241939B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 龐彥偉;張雪巖
• 申請（專利權）人: 天津大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/0464;G06N3/084;G06T5/50
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

1.一種基于多尺度和非局部的輕量去雨方法，其特征在于，所述方法包括：

構建由初始模塊和ConvLSTM模塊組成的粗融合網絡；

構建由基于縱橫交錯關注技術的特征提取模塊和重構模塊組成的精融合網絡；

其中，所述初始模塊，用于生成原尺度、1/2尺度和1/4尺度的特征圖像，組成多尺度特征金字塔；所述初始模塊包含三個卷積操作，分別為一個步長為1的3×3卷積層和兩個步長為2的3×3卷積層；

將多尺度特征金字塔分別送入三個ConvLSTM模塊中，經一層卷積提取特征，再經過一層ConvLSTM層后將小尺度的圖像特征上采樣，融合在大尺度圖像特征中作為大尺度所在的ConvLSTM層的輸入；

所述特征提取模塊是一個編解碼結構，其中卷積核大小為3的Encoder的下采樣尺度為2；在解碼部分，將卷積層替換為縱橫交錯關注層，用于捕獲上下文信息；

在特征提取模塊內部增加跨連接融合同尺度的特征圖，將三個特征提取模塊輸出的特征圖重構為殘差圖像，有雨圖像減去殘差圖像即可得到去雨圖像；

所述粗融合網絡和精融合網絡組成總體網絡；通過有雨圖像數據庫訓練總體網絡，使用均方差誤差損失和感知損失對預測出的去雨圖像計算損失值；

利用反向傳播機制更新網絡參數，獲取基于多尺度和非局部的輕量去雨模型，基于輕量去雨模型對有雨圖像進行處理；

其中，縱橫交錯關注技術為：首先對輸入的特征圖像H進行2個1×1卷積操作來生成兩張特征圖像Q和K，通過親和操作和softmax操作來生成關注圖A，接著對特征圖像H進行另一個1×1卷積操作來生成特征圖像V，用來實現特征的自適應，最后通過聚合操作可以得到層最終的輸出特征圖像H'；親和操作是計算特征圖像Q的每一處位置與特征圖像K中同行同列像素的相關度關系。

2.根據權利要求1所述的一種基于多尺度和非局部的輕量去雨方法，其特征在于，

將ConvLSTM模塊和特征提取模塊的輸出，與上采樣的小尺度特征圖像融合，作為精融合網絡中步長為1的3×3卷積層的輸入；

將三個卷積層輸出的特征圖像送入重構模塊，最終得到殘差圖像。