[發明專利]一種基于跨域協同學習的圖像去雨方法

有效

• 申請號: 202110742059.8
• 申請日: 2021-06-30
• 公開（公告）號: CN113450278B
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 潘在宇;王軍;李玉蓮;申政文;韓淑雨
• 申請（專利權）人: 中國礦業大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08;G06N20/00;G06V10/80;G06V10/82
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 朱沉雁

本發明公開了一種基于跨域協同學習的圖像去雨方法，構建基于多尺度注意力殘差模塊的雙分支圖像去雨網絡，通過面向合成領域的跨域協同學習策略，減少不同合成領域雨紋信息分布差異對于雙分支圖像去雨模型去雨效果的影響，通過面向真實領域的跨域學習策略，降低真實領域和合成領域雨紋信息分布差異對于雙分支圖像去雨模型去雨表現的影響。本發明提高了圖像去雨模型對于不同領域樣本雨紋信息的學習能力，減少了不同領域雨紋信息分布差異對于圖像去雨模型去雨表現的影響，增強了圖像去雨模型的魯棒性和泛化能力。

技術領域

本發明涉及圖像修復與增強領域，具體涉及一種基于跨域協同學習的圖像去雨方法。

背景技術

在雨天氣候條件下拍攝的照片經常是低質量的，這些由于雨紋而導致的圖像質量退化將影響一系列計算機視覺任務，例如，目標檢測，圖像識別等。因此，設計有效的圖像去雨算法對計算機視覺算法的實際應用至關重要。

目前，深度學習已經在圖像去雨任務上取得優異的表現。例如，Zhang等人提出一個基于條件生成對抗網絡的單張圖像去雨模型，并利用感知損失函數進一步提高去雨效果(He Zhang,Vishwanath Sindagi,and Vishal M.Patel，“Image de-raining using aconditional generative adversarial network”，IEEE Transactions on Circuits andSystems for Video Technology,2020，30(11)：3943-3956)。Yang等人設計一個基于深度循環空洞網絡的雨紋檢測模型和去雨模型，來提高網絡的圖像去雨表現(Wenhan Yang,Robby T.Tan,Jiashi Feng,Jiaying Liu,Zong ming Guo,and Shuicheng Yan，“DeepJoint Rain Detection and Removal from a Single Image”，In2017IEEE Conferenceon Computer Vision and Pattern Recognition，June 2017)。但是，目前基于深度學習的圖像去雨模型仍存在兩大不足之處：第一，真實環境中很難獲得充足的成對的圖像去雨數據，因此，無法直接利用現有的基于監督學習的合成圖像去雨模型實現真實圖像去雨任務。第二，真實雨紋信息和合成雨紋信息存在一定分布差異，直接利用在合成數據上訓練好的圖像去雨模型測試真實圖像去雨數據，很難得到滿意的結果。因此，如何利用現有的成對的合成圖像去雨數據和無標簽的真實圖像去雨數據構建一個真實圖像去雨模型是目前圖像去雨領域亟待解決的重要問題之一。

為解決上述問題，Yasarla等人設計了一種基于高斯過程的半監督圖像去雨方法，使得在合成數據集上訓練的去雨網絡對真實環境含雨圖像具有很好的泛化能力(R.Yasarla,V.A.Sindagi,and V.M.Patel,“Syn2real transfer learning for imagederaining using gaussian processes,”in The IEEE/CVF Conference on ComputerVision and Pattern Recognition(CVPR),June 2020.)。但是上述方法只考慮考到合成域和真實域中雨紋信息的分布差異，沒有考慮不同合成域之間雨紋信息的分布偏差。

發明內容

本發明的目的在于提供一種基于跨域協同學習的圖像去雨方法，同時解決不同合成域之間與合成域和真實域之間的雨紋信息分布差異對于圖像去雨模型的去雨表現的影響，提高圖像去雨模型的魯棒性和泛化能力。

實現本發明目的的技術解決方案為：一種基于跨域協同學習的圖像去雨方法，包括以下步驟：