[發明專利]一種單圖像去反光的方法、裝置及存儲介質

有效

• 申請號: 202010193974.1
• 申請日: 2020-03-18
• 公開（公告）號: CN111507910B
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 田治仁;張貴峰;李銳海;廖永力;張巍;龔博;王俊錁;黃增浩;朱登杰;何錦強
• 申請（專利權）人: 南方電網科學研究院有限責任公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/0464;G06N3/08
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 麥小嬋;郝傳鑫

1.一種單圖像去反光的方法，其特征在于，包括以下步驟：

通過人工拍攝獲取背景圖像和對應的反射圖像，并根據所述背景圖像和所述反射圖像的疊加，得到反光圖像；

將所述反光圖像輸入到預訓練的VGG-19網絡進行超列特征提取，得到特征集合；

將所述特征集合輸入到預設的生成網絡中，得到預測背景圖和預測反射圖；其中，所述生成網絡的聯合損失函數包括超列特征空間的重建損失函數、對抗損失函數和分離損失函數；

將所述預測背景圖和所述背景圖像輸入到預設的鑒別網絡，以計算得到所述鑒別網絡的鑒別損失函數；

通過多次迭代計算，直至所述聯合損失函數和所述鑒別損失函數均收斂，完成所述生成網絡和所述鑒別網絡的訓練；

選取多張所述反光圖像進行去反光處理，以定量評估去反光效果；

其中，所述生成網絡的聯合損失函數包括超列特征空間的重建損失函數、對抗損失函數和分離損失函數，具體包括：

所述超列特征空間的重建損失函數的表達式為其中，L_feat(θ)為所述超列特征空間的重建損失函數，I、T和f_T(I；θ)分別為所述反光圖像、所述背景圖像和所述預測背景圖，λ_l為第l層卷積層的影響權重，Ω為訓練的圖像數據集合，||·||₁表示對神經網絡卷積結果的向量取1-范數，即向量元素的絕對值之和，Φ_l(x)表示VGG-19網絡的第l層卷積層的卷積運算，θ表示生成網絡參數；

所述對抗損失函數的表達式為其中，L_adv(θ)為所述對抗損失函數，D(I,x)表示x為所述反光圖像I對應的所述背景圖像的概率，由所述鑒別網絡的輸出得到；

所述分離損失函數的表達式為其中，L_excl(θ)為所述分離損失函數，λ_T與λ_R分別為第一標準化參數和第二標準化參數，||·||_F為羅貝尼烏斯范數，⊙表示元素相乘，n為圖像下采樣參數，1≤n≤N，N為圖像下采樣參數的最大值；f_R(I；θ)分別為所述預測反射圖，為預測背景圖像的梯度的模，為預測反射圖像的梯度的模；

所述生成網絡的聯合損失函數為L(θ)＝w₁L_feat(θ)+w₂L_adv(θ)+w₃L_excl(θ)；其中，L(θ)為所述聯合損失函數，w₁、w₂和w₃分別為所述超列特征空間的重建損失函數、所述對抗損失函數和所述分離損失函數對應的系數；

所述根據所述背景圖像和所述反射圖像的疊加，得到反光圖像，具體包括：獲取所述背景圖像的第一灰度值；獲取所述反射圖像的第二灰度值；將所述第一灰度值和所述第二灰度值進行加權計算，得到所述反光圖像；

所述鑒別網絡的鑒別損失函數為L_disc(θ)＝logD(I；f_T(I；θ))-logD(I,T)；其中，L_disc(θ)為所述鑒別損失函數。

2.如權利要求1所述的單圖像去反光的方法，其特征在于，所述VGG-19網絡的卷積層包括conv1_2、conv2_2、conv3_2、conv4_2和conv5_2。

3.如權利要求1所述的單圖像去反光的方法，其特征在于，所述生成網絡包括卷積核為1×1的輸入層和8個卷積核為3×3的空洞卷積層；其中，最后一層空洞卷積層利用線性變換產生兩幅三通道的RGB圖。

4.如權利要求1所述的單圖像去反光的方法，其特征在于，所述選取多張反光圖像進行去反光處理，以定量評估去反光效果，具體包括：

選取多張所述反光圖像進行去反光處理，計算所述生成網絡生成的所述預測背景圖與所述背景圖之間的峰值信噪比和結構相似性，以定量評估去反光效果。