[發明專利]一種基于半監督學習的邊緣注意力對單幅圖像陰影去除方法

在審

• 申請號: 202110812986.2
• 申請日: 2021-07-19
• 公開（公告）號: CN113628129A
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 肖春霞;朱云;羅飛
• 申請（專利權）人: 武漢大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 齊晨涵

1.一種基于半監督學習的邊緣注意力圖像陰影檢測與消除方法，其特征在于：包括基于半監督的圖像陰影檢測和基于監督學習的圖像陰影消除，先檢測陰影再對該陰影進行消除；

基于半監督的圖像陰影檢測在監督訓練的同時加入額外的無監督樣本，進行訓練，使得網絡可以學習到一些監督數據沒有的額外的陰影檢測信息，增強網絡的檢測能力和模型的魯棒性；

基于監督學習的圖像陰影消除首先將不同組別的卷積序列先進行組卷積，以縮小類內方差，增強組內特征的表現能力，再對組內陰影進行分別消除，然后再將陰影消除后的各組特征圖進行特征融合，得到最后的陰影消除特征。

2.根據權利要求1所述的方法，其特征在于：

所述基于半監督的圖像陰影檢測通過特征提取器、用于監督的主解碼器和多個用于無監督的副解碼器進行半監督陰影檢測，得到陰影遮罩圖，下采樣特征圖和邊緣注意力圖作為主解碼器的輸入數據；

所述基于監督學習的圖像陰影消除通過U-Net網絡模塊和深度特征融合網絡實現，先通過U-Net網絡提取圖像特征，然后在檢測網絡輸出的陰影遮罩圖的指導下進行深度特征融合去除陰影，得到最后陰影消除后的圖像。

3.根據權利要求1所述的方法，其特征在于：網絡訓練時采用場景相近的成對的數據集或公開的數據集。

4.根據權利要求1所述的方法，其特征在于：模型訓練好之后，在進行陰影檢測時，對陰影圖片進行圖像增強來使得陰影圖像的光照強度更強烈。

5.根據權利要求4所述的方法，其特征在于：本發明中使用的網絡模型在進行陰影消除時，將原始輸入陰影圖像和陰影檢測得到的陰影遮罩圖一起作為輸入放到陰影消除網絡中，對輸入圖像進行下采樣得到不同尺度下的特征圖，在陰影遮罩圖的指導下對不同尺度下的特征圖進行陰影消除，再將得到的不同尺度下的陰影消除特征圖進行特征融合，得到陰影消除后的特征，再與輸入的原始圖像進行疊加得到最后陰影消除后的結果。

6.根據權利要求2所述的方法，其特征在于：在進行模型訓練時，網絡還加入了判別器，其輸入為陰影消除網絡得到的陰影去除圖像，其中陰影消除網絡輸出的圖像經過五個卷積塊，每個卷積塊包含一個卷積層、一個正則化層和一個LeakyReLU激活層，再經過一次SoftMax層輸出圖像真假的概率，根據設定值判斷陰影消除圖像的真假情況，起到強化網絡泛化能力的作用。

7.根據權利要求5所述的方法，其特征在于：在對陰影檢測網絡進行半監督學習的訓練，有監督學習部分訓練出一個基礎的陰影檢測模型，無監督學習部分對網絡模型的陰影檢測能力進一步地泛化和提升；具體過程如下：

首先利用ResNeXt-101網絡作為下采樣的骨干網絡對輸入圖像進行向下采樣，得到不同尺度下的特征圖，將最高維特征與最低微特征進行上下文特征融合后通過邊緣注意力模塊得到陰影圖像中陰影區域的邊緣信息，該模塊將使用邊緣損失來對陰影區域與非陰影區域的邊界進行監督，損失函數的具體公式為：

其中分別陰影檢測網絡輸出的陰影邊緣圖和對應真實的陰影邊緣圖；

有監督學習部分通過主解碼器輸出得到的陰影遮罩圖與數據集中真實的陰影遮罩圖之間進行約束，損失函數的具體公式如下：

其中分別表示陰影檢測網絡輸出的陰影遮罩圖和對應真實的陰影遮罩圖，

在該部分中的損失函數就可以表示為：

L_d＝L_m+L_b

其中L_d，L_m，L_b分別表示陰影檢測網絡的損失，陰影遮罩檢測損失和陰影邊緣檢測損失。

8.根據權利要求5所述的方法，其特征在于：對陰影消除網絡進行訓練，將原始的陰影圖像經過一個U-Net網絡得到陰影圖像的特征圖，利用陰影遮罩圖作為指導信息，對陰影圖像的特征圖進行指導消除，最后進行特征融合后與原始圖像進行疊加得到陰影去除的圖像，在該部分網絡中，利用數據集中陰影圖像對應的無陰影圖像對網絡的訓練進行約束，具體公式如下：

其中分別表示陰影消除網絡輸出的圖像和對應真實的無陰影圖像，

網絡使用過程中，網絡輸入的圖像都要就行大小預處理操作，所有網絡輸入的圖像大小都為256x256像素；還要將輸入的陰影遮罩圖進行歸一化操作，具體計算公式如下：

其中Image_i,j表示輸入圖像在(i,j)位置處的像素值。