[發明專利]一種基于半監督學習的邊緣注意力對單幅圖像陰影去除方法

在審

• 申請號: 202110812986.2
• 申請日: 2021-07-19
• 公開（公告）號: CN113628129A
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 肖春霞;朱云;羅飛
• 申請（專利權）人: 武漢大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 齊晨涵

本發明涉及圖像處理中的陰影消除領域，提供了一種基于半監督的邊緣注意力對單幅圖像進行陰影去除的方法。該方法包括生成器和判別器兩個部分，其中生成器中又分為陰影檢測網絡、邊緣注意力模塊和陰影消除網絡。本發明通過半監督學習網絡的訓練，可以對復雜場景的陰影圖像的陰影區域進行檢測，并指導陰影圖像進行陰影消除，獲得較好的陰影消除的圖像。

技術領域

本發明涉及一種基于半監督學習的邊緣注意力對單幅圖像陰影去除方法，尤其是可以對真實場景中復雜的陰影進行消除。本發明屬于圖像光照編輯領域，尤其涉及一種基于半監督學習的陰影去除方法。

背景技術

目前，常用的陰影去除方式可主要分為以下兩類：一、基于傳統物理的方法，如論文“Single-image shadow detection and removal using paired regions”中所提出的陰影去除方法，通過物理的模型來組像素地分析圖像的光照強度。該方法在一定假設前提下能夠取得不錯的陰影去除效果，但由于十分依賴于先驗知識的獲取和一系列相關的假設，該方法的泛化能力較差，無法較好的處理假設之外的大部分數據且通常結果存在部分偽影；二、基于深度學習的方法，這類方法可以較好的克服傳統物理的方法中依賴大量假設、處理結果存在偽影的問題，如論文“RIS-GAN:Explore Residual and Illuminationwith Generative Adversarial Networks for Shadow Removal”中所提出的基于對抗生成網絡的陰影去除方法通過大量數據的有監督學習，取得了一定的進展，但該方法仍然存在一些如處理結果顏色扭曲，陰影去除不完全的嚴重問題，難以滿足實際應用中的需求。現有技術中，仍然缺乏一種泛化能力強，能滿足用戶需求，在現實世界中實際有效的單圖像陰影去除方法。

發明內容

本發明提供了一種基于半監督學習的陰影檢測與消除網絡，旨在解決現有的陰影消除方法對真實的復雜場景陰影消除效果不好、陰影邊界明顯、處理結果存在顏色扭曲、難以滿足實際應用需求的問題。

根據本發明的基于半監督學習的陰影檢測與消除網絡，其包括帶有邊緣注意力的陰影檢測網絡模塊和深度陰影消除網絡模塊兩個部分。在帶有邊緣注意力的陰影檢測網絡模塊中，包含一個用于提取圖像不同尺度特征表示的特征提取器，一個用于監督學習的主解碼器和多個用于無監督學習的副解碼器(比主解碼器多了一層Dropout層)，下采樣特征圖和邊緣注意力圖作為主解碼器的輸入數據。該模塊用于檢測圖像中的陰影區域；所述特征提取器采用ResNeXt-101網絡的下采樣結構來提取下采樣的圖像特征；深度陰影消除模塊包括一個U-Net網絡模塊和一個深度特征融合模塊，該模塊先通過U-Net網絡提取圖像特征，然后在檢測網絡輸出的陰影遮罩圖的指導下進行深度特征融合去除陰影，得到最后陰影消除后的圖像。陰影檢測網絡模塊和深度陰影消除網絡模塊兩部分共用編碼器，即網絡結構相同和參數共享。編碼器為特征提取器,共用編碼器可以降低網絡復雜度，減少網絡參數，從而減少網絡訓練時間。

本發明的基于半監督學習的邊緣注意力圖像陰影檢測與消除在對進行單幅圖像陰影去除之前，首先需要使用數據集中的陰影遮罩圖制作陰影邊緣圖；在數據制作完成后，其對單幅圖像進行陰影去除時，首先對圖像進行陰影檢測，并根據檢測到的圖像陰影區域來指導圖像的陰影去除，能夠較好地恢復圖像中陰影區域的光照。

模型訓練好之后，在進行陰影檢測時，對陰影圖片進行圖像增強來使得陰影圖像的光照強度更強烈。

本發明中使用的網絡模型在進行陰影消除時，將原始輸入陰影圖像和陰影檢測得到的陰影遮罩圖一起作為輸入放到陰影消除網絡中，對輸入圖像進行下采樣得到不同尺度下的特征圖，在陰影遮罩圖的指導下對不同尺度下的特征圖進行陰影消除，再將得到的不同尺度下的陰影消除特征圖進行特征融合，得到陰影消除后的特征，再與輸入的原始圖像進行疊加得到最后陰影消除后的結果。