[發(fā)明專利]一種基于動態(tài)關聯(lián)學習網絡的圖像去雨方法、系統(tǒng)及設備

有效

• 申請?zhí)枺?/td>: 202210541946.3
• 申請日: 2022-05-19
• 公開（公告）號: CN114638768B
• 公開（公告）日: 2022-08-09
• 發(fā)明（設計）人: 王中元;江奎;易鵬;邵振峰;馬佳義
• 申請（專利權）人: 武漢大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/44;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 肖明洲

本發(fā)明公開了一種基于動態(tài)關聯(lián)學習網絡的圖像去雨方法、系統(tǒng)及設備，包括雨水條紋移除和背景紋理重建的聯(lián)合表達和優(yōu)化，動態(tài)關聯(lián)學習，雙路徑特征選擇融合表達。在雨水條紋移除和背景紋理重建的聯(lián)合表達和優(yōu)化過程中，利用兩階段網絡實現雨水建模和背景紋理重建。在動態(tài)關聯(lián)學習過程中，利用預測的雨水分布作為先驗知識輔助精確的背景紋理表達。在雙路徑特征選擇融合表達過程中，利用原始分辨率分支和編解碼分支分別學習全局結構和紋理，同時利用選擇融合模塊進行尺度間特征融合，實現高精度雨水去除和背景紋理重建。本發(fā)明有效利用潛在的雨水分布作為先驗特征，動態(tài)地學習雨水移除和背景紋理修復之間的關聯(lián)性，實現更高質量的背景紋理修復。

技術領域

本發(fā)明屬于人工智能技術領域，涉及一種圖像去雨方法、系統(tǒng)及設備，具體涉及一種基于動態(tài)關聯(lián)學習網絡的圖像去雨方法、系統(tǒng)及設備。

背景技術

雨天場景下圖像質量會受到不同程度的干擾，包括圖像內容遮擋，亮度變化，對比度失真等，極大影響圖像內容的可讀性和辨識度，給人們的日常生活以及下游高層次視覺任務帶來了極大的障礙。因此，單張圖像雨條紋移除是一項改善圖像視覺體驗的基本處理，也是許多計算機視覺任務（如分割、檢測、跟蹤、識別、分類等等）的重要預處理過程。

由于深度卷積神經網絡（CNN）在圖像處理領域取得了較好的成果，近年來，基于深度學習的圖像去雨方法被相繼提出并得到了迅速發(fā)展。2017年，Fu等最先構建一個三層的CNN來同時評估雨條紋和進行圖像去雨。2018年，Zhang等通過考慮雨條紋的密度信息，提出了一個多任務的深度神經網絡實現雨條紋密度的評估和移除。2019年，Yang等人提出了多階段的循環(huán)神經網絡，通過階段性的去雨實現圖像復原，降低了去雨難度。

現有基于深度學習的單張圖像去雨模型利用卷積神經網絡，直接建模雨水圖像中的雨水分布，通過從原始輸入中減去雨水分布，得到對應的去雨圖像。這種方式雖然可以去除大部分的雨條紋，但依然存在明顯的雨水殘留；更重要地是，由于沒有考慮雨水擾動對背景內容的影響，導致結果圖像出現紋理缺失、亮度變化和對比度失真等缺陷，無法維護背景紋理內容的保真度。

發(fā)明內容

為了解決上述技術問題，本發(fā)明提供了一種基于動態(tài)關聯(lián)學習網絡的圖像去雨方法、系統(tǒng)及設備。

本發(fā)明的方法所采用的技術方案是：一種基于動態(tài)關聯(lián)學習網絡的圖像去雨方法，包括以下步驟：

步驟1：利用雙線性采樣對原始帶雨圖像進行下采樣，獲得原始帶雨圖像的對應帶雨采樣子圖像；

步驟2：將獲得的帶雨采樣子圖像輸入到雙路徑特征選擇融合網絡中，利用所述雙路徑特征選擇融合網絡的原始分辨率分支來學習全局空間結構特征，采用所述雙路徑特征選擇融合網絡的U-型編解碼分支來建模上下文的多尺度上下文特征；

步驟3：將步驟2中得到的全局空間結構特征和多尺度上下文特征輸入雙路徑特征選擇融合網絡的特征選擇融合模塊SFB，獲得強化后的雨水全局融合特征；

步驟4：將步驟3中強化后的雨水全局融合特征輸入雨水分布重建層網絡，輸出得到預測的子空間雨水分布圖像，同時從步驟1中的帶雨采樣子圖像中減去預測的子空間雨水分布圖像得到對應的采樣子空間去雨圖像；

步驟5：將步驟4中預測的子空間雨水分布圖像和得到的采樣子空間去雨圖像，以及步驟1中的原始帶雨圖像輸入到動態(tài)關聯(lián)學習網絡中，利用預測的雨水分布提供圖像降質區(qū)域的位置和強度信息先驗，從而從輸入原始帶雨圖像中提取背景紋理信息，并與從采樣子空間去雨圖像提取的初始特征進行融合，得到增強后的背景紋理特征；