[發明專利]一種基于雪模型和深度學習融合的圖像去雪算法

有效

• 申請號: 201910144449.8
• 申請日: 2019-02-27
• 公開（公告）號: CN111275627B
• 公開（公告）日: 2023-04-11
• 發明（設計）人: 田建東;尹赫;李鵬越;唐延東
• 申請（專利權）人: 中國科學院沈陽自動化研究所
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T3/00
• 代理公司: 沈陽科苑專利商標代理有限公司 21002
• 代理人: 許宗富

1.一種基于雪模型和深度學習融合的圖像去雪算法，其特征在于包括以下步驟：

根據雪的成像過程建立雪模型I_s＝S+K*I_b；其中I_s是帶雪圖像，S是反映雪花位置和透明度信息的雪花層，I_b是去雪后的無雪背景層圖像，K為背景衰減系數，K＝1-τ/T，其中T為相機曝光時間，雪花通過某一像素的時間為τ；

采集圖像、合成雪花，并合成帶雪圖像I_sⁱ存儲至數據庫；

建立由雪花檢測子網絡、雪花去除子網絡串聯組成深度去雪網絡：采用殘差學習網絡構建雪花檢測子網絡，將數據庫中的帶雪圖像不斷輸入雪花檢測子網絡獲取反映雪花位置和透明度信息的雪花層估計值采用密集連接的U網絡構建雪花去除子網絡，將數據庫中的帶雪圖像雪花檢測子網絡輸出的雪花層估計值輸入雪花去除子網絡用于訓練網絡、輸出去雪后的各個無雪背景層圖像估計值其中，所述采用密集連接的U網絡構建雪花去除子網絡包括：收縮路徑由三個下采樣模塊構成，該下采樣模塊包含Dense?block、批標準化和池化層，用于分別獲取特征圖；其中批標準化包含標準化操作和帶Relu激活的卷積操作，池化層是對原始輸入的圖像進行步長為2的降采樣操作；擴展路徑由三個對應的上采樣模塊構成，每個上采樣模塊由反卷積層、Dense?block和批標準化組成；首先，反卷積層與對應收縮路徑上的特征圖進行融合，然后送入Dense?block進行卷積，最后通過一層1*1的卷積層將任意數目的特征向量轉換為3維的去雪后的無雪背景層圖像I_b；

計算深度去雪網絡的損失，獲取優化的深度去雪網絡；

采集實際下雪圖像輸入至優化的深度去雪網絡，得到處理的去雪后的無雪背景層圖像。

2.根據權利要求1所述的一種基于雪模型和深度學習融合的圖像去雪算法，其特征在于：所述雪模型I_s＝S+K*I_b的推導過程如下：

通常雪花降落通過某一像素的時間遠小于相機的曝光時間，因此相機拍攝到的下雪圖像是快速運動的雪花和雪花遮擋的背景信息共同作用的結果假設相機曝光時間為T，雪花通過某一像素的時間為τ，在拍攝時間[τ,τ+T]內，雪花通過某一像素的過程中，被雪花影響的像素點光強E_d是由背景光強E_b和雪花光強E_s共同組成，如下式：

由于拍攝過程中背景光強E_b幾乎是靜止的，所以E_b可以認為是一個常數，這樣上述方程可以簡化為：

其中，是雪花通過某一像素時的亮度，可以描述為動態的雪花層S，TE_b是在不受雪花影響時曝光時間T內背景的真實光強；因為相機的響應是線性的，即雪花和背景的亮度與它們的最終成像結果之間是線性關系；所以可以將上述方程進一步簡化為：

I_s＝S+I_b-τE_b

其中，S是雪花層，它反映了雪花的位置和透明度信息，I_b是去雪后的無雪背景層圖像，最后兩項τE_b可以合并為背景的衰減項，上式進一步簡化為：

I_s＝S+K*I_b

其中，I_s是帶雪圖像，S是反映雪花位置和透明度信息的雪花層，I_b是去雪后的無雪背景層圖像，K為背景衰減系數，K＝1-τ/T。

3.根據權利要求1所述的一種基于雪模型和深度學習融合的圖像去雪算法，其特征在于：所述采集圖像、合成雪花，并合成帶雪圖像包括：

拍攝有雪景且沒有雪花的真實無雪背景圖像將合成雪花層S_i疊加至背景圖像生成帶雪圖像其中，i為圖像序號，i＝1,……，N。

4.根據權利要求3所述的一種基于雪模型和深度學習融合的圖像去雪算法，其特征在于：所述合成雪花層S_i為采用不同的密度、形狀、大小、透明度的白色粒子作為雪花。