[發明專利]基于深度學習的單幅圖像去雪花方法、裝置及存儲介質

有效

• 申請號: 202011297039.6
• 申請日: 2020-11-18
• 公開（公告）號: CN112288738B
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 賈振紅;賈愛文
• 申請（專利權）人: 新疆大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T5/00;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

本發明公開了一種基于深度學習的單幅圖像去雪花方法、裝置及存儲介質，所述方法包括：通過注意力機制，將成對的具有相同背景的含雪和無雪圖像作為輸入，根據網絡的自動學習能力，提取雪花像素的特征生成雪花注意力圖；將含雪圖像與相應的雪花注意力圖同時作為無雪圖像生成部分的輸入，利用U?net網絡以及殘差網絡恢復出無雪圖像；將恢復出的無雪圖像與真實的無雪圖像同時作為判別器部分的輸入，用以訓練判別器判斷真假圖像的能力；采用訓練后的判別器對輸入的圖像進行特征提取，通過提取到的特征做出判斷，從而使得生成器生成的圖像越來越接近真實的無雪圖像。本發明處理后的圖像中雪花去除效果很好，而且較原圖像能保留更多的細節特征；在修復被雪花覆蓋的像素時避免了圖像失真與模糊等問題。

技術領域

本發明涉及圖像去噪技術，屬于圖像處理領域，尤其涉及一種基于深度學習的單幅圖像去雪花方法、裝置及存儲介質。

背景技術

雪花作為一種特殊的天氣現象，會降低背景場景的能見度，影響圖像的清晰度，使得圖像中有用的信息減少。對后續的圖像處理任務產生巨大的負面效果，例如：目標檢測、場景分析，以及其他的圖像處理任務。尤其是在人工智能的應用方向上，大多數情況下需要清晰干凈的圖像來提取和處理正確的信息。因此，從單一圖像中去除雪花具有重要的研究意義。

盡管目前大多數高光去除算法取得了一些成就，但還存在以下問題：

第一、大多數方法使用的是傳統的建模方法，僅使用了雪花的一個或幾個空間特征，使得基于建模的方法在實際的應用中泛用性不強；

第二、目前注意力機制在單幅圖像去雪花方向沒有得到廣泛的應用，而且一般的U-net(U型結構網絡)在修復雪花像素時存在圖像失真等問題。

發明內容

針對單幅圖像中雪花檢測與修復任務，本發明提供了一種基于深度學習的單幅圖像去雪花方法、裝置及存儲介質，處理后的圖像中雪花去除效果很好，而且較原圖像能保留更多的細節特征；在修復被雪花覆蓋的像素時避免了圖像失真與模糊等問題，詳見下文描述：

第一方面，一種基于深度學習的單幅圖像去雪花方法方法，所述方法包括：

通過注意力機制，將成對的具有相同背景的含雪和無雪圖像作為輸入，根據網絡的自動學習能力，提取雪花像素的特征生成雪花注意力圖；

將含雪圖像與相應的雪花注意力圖同時作為無雪圖像生成部分的輸入，利用U-net網絡以及殘差網絡恢復出無雪圖像；

將恢復出的無雪圖像與真實的無雪圖像同時作為判別器部分的輸入，用以訓練判別器判斷真假圖像的能力；

采用訓練后的判別器對輸入的圖像進行特征提取，通過提取到的特征做出判斷，從而使得生成器生成的圖像越來越接近真實的無雪圖像。

在一種實現方式中，所述注意力機制通過對比學習成對的含雪與無雪圖像，來識別圖像中的雪花，從而提取雪花像素的特征。

在一種實現方式中，所述無雪圖像生成部分包括：編碼部分和解碼部分，

編碼部分包含4個下采樣層，每個下采樣層包含一個卷積層和激活層；在每一個下采樣層中，將圖像的分辨率降為原來的1/2，同時提取的特征數變為原來的兩倍；將第一個下采樣層輸入的特征數設置為32，圖像的分辨率為256*256；通過4層下采樣操作后，得到的特征數為512，圖像的分辨率為16*16；在U-net的第五層，使用殘差網絡來提高網絡的感受野；

解碼部分使用了跳躍連接，將下采樣層的輸出與具有相同分辨率的上采樣層輸出合并，輸入到下一上采樣層中；上采樣層結構與下采樣層結構相同，每一個上采樣層使得圖像的分辨率變為原來的兩倍，特征數降為原來的1/2；經過4層上采樣操作，得到解碼后的無雪圖像特征，特征數為32，圖像分辨率為256*256；通過Tanh層，使用無雪圖像特征恢復出彩色的無雪圖像。