[發明專利]一種基于模型驅動的字典學習去雨方法及其應用

在審

• 申請號: 202210974835.1
• 申請日: 2022-08-15
• 公開（公告）號: CN115393206A
• 公開（公告）日: 2022-11-25
• 發明（設計）人: 查正軍;傅雪陽;葛成杰
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

本發明公開了一種基于模型驅動的字典學習去雨方法及其應用，包括：1、構建一個雨水圖像的生成模型；2、根據字典學習的原理將雨水圖像的雨紋層和背景層分別表示為字典矩陣和稀疏編碼矩陣的乘積；3、通過深度展平字典學習模型的優化函數從而高效的重構干凈的背景層圖像和雨紋層圖像。本發明充分利用了數據驅動模型方案的高效性同時保留了傳統模型驅動方案的可解釋性，構建了一種基于模型驅動的字典學習去雨方法，并對于算法中字典學習的部分采用了深度展平，從而能實現運行高效、去除效果好、可解釋性強的圖像去雨。

技術領域

本發明屬于圖像處理技術領域，尤其涉及有雨圖像的雨線去除，提出了一個基于雙字典學習模型驅動的去雨迭代算法，針對提出的優化模型進行深度展開成神經網絡的形式來高效地完成雨線去除。

背景技術

雨天是我們日常生活中常見的天氣，雨線的存在會對許多多媒體任務產生負面影響，如人臉識別、人機交互、物體檢測等。

為了緩解這個問題，人們提出了許多圖像去雨方法。這些方法可以大致歸納為兩類：模型驅動和數據驅動的方法。模型驅動的去雨方法需要手工構造復雜的先驗，存在耗時和建模不充分等缺陷，尤其是當圖像的先驗和之前構造的先驗不匹配時，所得到的最終圖像效果會很差。

目前主流的圖像去雨研究方法都是基于數據驅動的深度學習方法進行的，這類方法在借助GPU等設備的加速中可以又快又好的去除雨線。但是這類數據驅動的方法普遍存在以下幾個問題：

1.可解釋性差。絕大多數的網絡是端到端的深度學習，導致整個網絡看起來像一個黑盒子，對于用戶來說缺乏可解釋性。

2.忽略了背景層中的重要信息。許多方法直接預測雨紋層R而不是背景層B，因為雨條紋層R中的信息量比背景層B中的信息量更稀疏，從而使整個網絡更容易收斂。一般來說，O＝B+R是一個很重要的先驗估計，當雨紋稀疏時，上述方法的去雨效果差強人意。然而，這些方法忽略了B中的大量有用信息。隨著雨紋變得更密集，它將覆蓋背景層中的大部分內容。由于R中的信息是單調的，R中信息的增加無法補償B中內容的丟失。這使得原本病態的問題更難處理，導致最終的去雨結果不理想。

發明內容

本發明是為了解決上述現有技術存在的不足之處，提出一種基于模型驅動的字典學習去雨方法及其應用，以期能實現運行高效、去除效果好、可解釋性強的圖像去雨效果。

本發明為解決上述技術問題，采用如下技術方案：

本發明一種基于模型驅動的字典學習去雨方法，其特點在于，是按如下步驟進行：

步驟1：構建去雨網絡，包括：初始預處理殘差網絡和T_max個階段的學習模塊；每個階段的學習模塊包括：背景層學習模塊和雨紋層學習模塊；其中，背景層學習模塊包括：背景層稀疏編碼神經網絡和背景層字典神經網絡；雨紋層學習模塊包括：雨紋層稀疏編碼神經網絡和雨紋層字典神經網絡；

步驟2：定義當前迭代次數為i，最大迭代次數為T_max；

步驟3：初始化i＝1；

獲取一張待處理的有雨圖像并劃分為背景層B和雨紋層R后，相應作為第i-1次迭代時的背景層B^(i-1)和雨紋層R^(i-1)輸入所述殘差網絡中，從而利用式(1)對所述第i-1次迭代時的背景層B^(i-1)和雨紋層R^(i-1)進行處理，得到第i-1次迭代時的背景層B^(i-1)和雨紋層R^(i-1)所對應的字典模型，其中，3表示圖像的通道數，H和W分別表示圖像的高度及寬度；表示實數空間；