[發明專利]一種基于生成式對抗網絡的陰影去除方法

有效

• 申請號: 201910256619.1
• 申請日: 2019-04-01
• 公開（公告）號: CN109978807B
• 公開（公告）日: 2020-07-14
• 發明（設計）人: 蔣曉悅;胡鐘昀;馮曉毅;夏召強;吳俊;李煜祥
• 申請（專利權）人: 西北工業大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T5/00;G06N3/08
• 代理公司: 西北工業大學專利中心 61204
• 代理人: 劉新瓊

1.一種基于生成式對抗網絡的陰影去除方法，所述的生成式對抗網絡包括生成器和判別器，其特征在于步驟如下：

步驟1：增強陰影圖像數據集；

步驟2：分別設計生成器中的陰影檢測子網絡和陰影去除子網絡，定義生成器損失函數；

步驟2-1：設計生成器的陰影檢測子網絡，陰影檢測子網絡分別由7層網絡構成，其中，第1層網絡是卷積核為3×3、通道數為64的卷積層，第2-6層網絡由基本殘差塊組成，每個基本殘差塊的卷積核為3×3、通道數為64，第7層網絡是卷積核為3×3、通道數為2的卷積層；

步驟2-2：定義陰影檢測子網絡損失函數

預設陰影檢測標簽圖像l(w,h)∈{0,1}，對于給定的像素點(w,h)屬于l(w,h)的概率為：

其中F_k(w,h)記為來自陰影檢測子網絡最后一層k通道特征圖像素點(w,h)的值，w＝1,…,W₁，h＝1,…,H₁；W₁和H₁分別是特征圖的寬和高；故陰影檢測子網絡損失函數定義如下：

步驟2-3：生成器的陰影去除子網絡由7層網絡構成，其中，陰影去除子網絡的第7層網絡是卷積核為3×3、通道數為1的卷積層，陰影去除子網絡的第2-6層網絡與步驟2-1中設計的陰影檢測子網絡結構保持一致；

步驟2-4：定義陰影去除子網絡損失函數

預設陰影輸入圖像x^c,w,h和陰影去除標簽圖像z^c,w,h∈{0,1,…,255}，其中c代表圖像的通道變量，w和h分別代表圖像寬和高變量，故陰影去除子網絡的損失函數定義如下：

其中，G(·)代表陰影去除網絡的輸出，C、W₂和H₂分別代表陰影輸入圖像的通道數、寬和高；

步驟2-5：使用不確定度來權衡陰影檢測和去除損失函數，因為陰影檢測子網絡屬于分類任務，而陰影去除子網絡屬于回歸任務，故生成器損失函數L_E定義如下：

其中，δ₁、δ₂為權重值；

步驟3：利用十字繡模塊自適應融合不同任務之間的底層特征，得到生成器；

對于給定的分別來自陰影檢測子網絡和去除網絡子網絡第p層的兩個激活特征圖x_A,x_B，學習兩個輸入激活特征圖的線性組合并且將其作為下一層的輸入；線性組合將使用α參數；特別地，對于激活特征圖(i,j)位置，有如下公式：

其中，用α_D表示α_AB,α_BA并將它們稱為不同任務值，因為它們權衡了來自另一個任務的激活特征圖；同樣地，α_AA,α_BB用α_S表示，即相同任務值，因為它們權衡了來自相同任務的激活特征圖；通過改變α_D和α_S值，十字繡模塊可以在共享和特定任務的表示之中自由選擇，并選擇合適的中間值；

步驟4：設計判別器，定義判別器損失函數；

步驟4-1：判別器包含有8個數量不斷增加的帶有3×3濾波器內核的卷積層，其中，和VGG網絡相似，卷積層的通道數按指數為2從64增加到512；在512幅特征圖之后接上兩個全連接層和一個最終的Sigmoid激活函數，以獲得樣本分類的概率；

步驟4-2：給定一組來自于生成器的N幅陰影檢測-去除圖像對和一組N幅陰影檢測-去除標簽圖像對，分別記為和判別器的損失函數定義如下：

步驟5：在步驟1得到的陰影圖像數據集上，通過極小極大策略優化步驟3和步驟4設計的生成器和判別器，使得生成式對抗網絡具有圖像陰影去除能力，最后將陰影圖像作為生成式對抗網絡的輸入，進行卷積運算，恢復出一幅無陰影圖像。