[發明專利]一種基于生成式對抗網絡的陰影去除方法

有效

• 申請號: 201910256619.1
• 申請日: 2019-04-01
• 公開（公告）號: CN109978807B
• 公開（公告）日: 2020-07-14
• 發明（設計）人: 蔣曉悅;胡鐘昀;馮曉毅;夏召強;吳俊;李煜祥
• 申請（專利權）人: 西北工業大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T5/00;G06N3/08
• 代理公司: 西北工業大學專利中心 61204
• 代理人: 劉新瓊

本發明涉及一種基于生成式對抗網絡的陰影去除方法，該方法針對單幅圖像陰影去除，首先設計生成式對抗網絡并利用陰影圖像數據集進行訓練，然后通過對抗學習的方式來訓練判別器和生成器，最后生成器恢復出以假亂真的陰影去除圖像。本發明方法僅由一個生成式對抗網絡構成，在生成器中分別設計陰影檢測子網絡和陰影去除子網絡，并且利用十字繡模塊自適應融合不同任務之間的底層特征，將陰影檢測作為輔助任務，從而提升陰影去除表現。

技術領域

本發明屬于圖像處理技術領域，具體涉及一種圖像處理尤其是單幅圖像陰影去除方法。

背景技術

近年來，計算機視覺系統已經廣泛應用于生產生活場景，如工業視覺檢測、視頻監控、醫療影像檢測和智能駕駛等。然而，陰影作為自然界中普遍存在的一種物理現象，它給計算機視覺任務帶來諸多不利影響，增加了問題處理的難度，降低了算法的魯棒性。首先，陰影的形狀變化很大。即使對于相同的物體，陰影的形狀也會根據光源的變化而變化。其次，當光不是點光源時，陰影內部區域的強度不均勻。光源越復雜，陰影的邊界區域越寬。在邊界區域附近，逐漸從陰影變為非陰影。比如草地上覆蓋的陰影會破壞灰度值的連續性，進而影響語義分割、特征提取和圖像分類等視覺任務；又比如高速公路視頻監控系統中，由于陰影隨著汽車一同運動，從而降低了提取汽車形狀的準確度。因此，有效的陰影去除會大大提高圖像處理算法的性能。

目前，陰影去除方法主要分為兩類，一類是基于視頻序列，利用多幅圖像的信息，通過差分法完成陰影的去除，但是應用場景十分有限且對于單幅圖像無能為力；一類是基于單幅圖像，通過建立物理模型或者特征提取的方法來消除圖像中的陰影，但是面對復雜背景的圖像，該方法的陰影去除性能將嚴重下降。不難看出，基于單幅圖像的陰影去除的應用場景十分廣泛，將是未來重點研究方向。但是因為單幅圖像的可利用信息較少，所以在陰影去除性能上仍有很大的提高空間。

發明內容

要解決的技術問題

為了避免現有技術的不足之處，本發明提出一種基于生成式對抗網絡的陰影去除方法。

技術方案

一種基于生成式對抗網絡的陰影去除方法，所述的生成式對抗網絡包括生成器和判別器，其特征在于步驟如下：

步驟1：增強陰影圖像數據集；

步驟2：分別設計生成器中的陰影檢測子網絡和陰影去除子網絡，定義生成器損失函數；

步驟2-1：設計生成器的陰影檢測子網絡，該網路分別由7層網絡構成，其中，第1層網絡是卷積核為3×3、通道數為64的卷積層，第2-6層網絡由基本殘差塊組成，每個殘差塊的卷積核為3×3、通道數為64，第7層網絡是卷積核為3×3、通道數為2的卷積層；

步驟2-2：定義陰影檢測子網絡損失函數

預設陰影檢測標簽圖像l(w,h)∈{0,1}，對于給定的像素點(w,h)屬于l(w,h)的概率為：

其中F_k(w,h)記為來自陰影檢測子網絡最后一層k通道特征圖像素點(w,h)的值，w＝1,…,W₁，h＝1,…,H₁；W₁和H₁分別是特征圖的寬和高；故陰影檢測子網絡損失函數定義如下：

步驟2-3：生成器的陰影去除子網絡由7層網絡構成，其中，該網絡的第7層網絡是卷積核為3×3、通道數為1的卷積層，其余網絡與步驟2-1中設計的陰影檢測子網絡結構保持一致；

步驟2-4：定義陰影去除子網絡損失函數