[發明專利]基于兩級反射光消除網絡和像素損失的反射光去除方法

有效

• 申請號: 202011573525.6
• 申請日: 2020-12-25
• 公開（公告）號: CN112634161B
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 趙東;汪磊;王青;李晨;張見;牛明;郜云波;馬弘宇;陶旭;劉朝陽;楊成東
• 申請（專利權）人: 南京信息工程大學濱江學院
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 徐燕

本發明提供了一種基于兩級反射光消除網絡和像素損失的反射光去除方法，首先設置兩級反射光消除網絡中生成器的一級子網絡和二級子網絡；然后設定兩級反射光消除網絡中生成器基于像素損失的損失函數；再設定兩級反射光消除網絡中鑒別器的損失函數；訓練兩級反射光消除網絡直到兩級反射光消除網絡參數收斂得到訓練好的兩級反射光消除網絡；最后用訓練好的兩級反射光消除網絡對測試數據集進行圖像反射光去除，輸出圖像反射光去除以后的透射圖。本發明克服了現有技術中容易出現色彩失真和細節損失的缺點，使得本發明對反射圖像的去除效果更加明顯，并且不存在色彩失真。

技術領域

本發明屬于圖像處理技術領域，具體涉及一種基于兩級反射光消除網絡和像素損失的反射光去除方法。

背景技術

反射光去除是圖像質量提升技術領域的重要組成部分，它在光電成像系統、圖像復原系統、圖像質量提升系統等許多系統中都有非常廣泛的實際應用。近幾年，基于深度學習的圖像反射光去除方法廣泛應用在圖像質量提升領域。

現有的圖像反射光去除方法中，CEILNet網絡由兩個結構相同的32層子網絡構成，總深度達到64層，其中第一個子網絡接收反射干擾圖像及其梯度作為輸入，其輸出為透射光的梯度預測，而第二個子網絡則將反射干擾圖像與預測梯度值作為輸入，最終得到透射光估計。兩個子網絡相互獨立，單獨訓練推理。該方法存在的不足之處是：由于CEILNet網絡增強特性數量較少，因此圖像反射光去除以后的結果存在色彩失真。

目前還存在利用CRRN網絡對圖像反射光去除的方法，該方法同樣將反射干擾圖像及其梯度作為獨立輸入，其不同點是兩個子網絡在多個不同尺度上進行了互聯，其梯度與圖像推理可以并行實現，這比CEILNet更加緊湊，而且兩個子網絡不再需要分別訓練。該方法存在的不足之處是：由于CRRN網絡是直接估計透射圖，因此圖像反射光去除以后的結果存在細節損失的問題。

發明內容

本發明針對現有技術中的不足，提供一種基于兩級反射光消除網絡和像素損失的反射光去除方法，首先利用模擬數據和真實數據構建訓練數據集和測試數據集，再設置兩級反射光消除網絡中生成器的一級子網絡和二級子網絡；然后設定兩級反射光消除網絡中生成器基于像素損失的損失函數；再設定兩級反射光消除網絡中鑒別器的損失函數；訓練兩級反射光消除網絡直到兩級反射光消除網絡參數收斂，得到訓練好的兩級反射光消除網絡；最后用訓練好的兩級反射光消除網絡對測試數據集進行圖像反射光去除，輸出圖像反射光去除以后的透射圖。

為實現上述目的，本發明采用以下技術方案：一種基于兩級反射光消除網絡和像素損失的反射光去除方法，包括如下步驟：

步驟一、利用模擬數據和真實數據構建訓練數據集和測試數據集；

步驟二、設置兩級反射光消除網絡中生成器的一級子網絡；

步驟三、設置兩級反射光消除網絡中生成器的二級子網絡；

步驟四、利用訓練數據集中模擬數據的真實透射圖和反射圖、粗估計的透射圖和反射圖以及圖像反射光去除以后的透射圖，共同構造兩級反射光消除網絡中生成器基于模擬數據像素損失的損失函數；

步驟五、利用訓練數據集中真實數據的真實透射圖、粗估計的透射圖以及圖像反射光去除以后的透射圖，共同構造兩級反射光消除網絡中生成器基于真實數據像素損失的損失函數；

步驟六、將兩級反射光消除網絡中生成器基于模擬數據像素損失的損失函數、兩級反射光消除網絡中生成器基于真實數據像素損失的損失函數以及原始生成器對抗損失函數加權相加，作為兩級反射光消除網絡中生成器的損失函數；

步驟七、設定兩級反射光消除網絡中鑒別器的損失函數；