[發(fā)明專利]一種基于兩級反射光消除網(wǎng)絡(luò)的圖像反射光去除方法

在審

• 申請?zhí)枺?/td>: 202011573740.6
• 申請日: 2020-12-25
• 公開（公告）號: CN112598598A
• 公開（公告）日: 2021-04-02
• 發(fā)明（設(shè)計）人: 趙東;王青;汪磊;李晨;張見;牛明;郜云波;馬弘宇;陶旭;劉朝陽;楊成東
• 申請（專利權(quán)）人: 南京信息工程大學(xué)濱江學(xué)院
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 徐燕

本發(fā)明提供了一種基于兩級反射光消除網(wǎng)絡(luò)的圖像反射光去除方法，首先設(shè)置兩級反射光消除網(wǎng)絡(luò)中生成器的一級子網(wǎng)絡(luò)和二級子網(wǎng)絡(luò)；然后設(shè)定兩級反射光消除網(wǎng)絡(luò)中生成器的損失函數(shù)，由像素?fù)p失和感知損失兩部分構(gòu)成；再設(shè)定兩級反射光消除網(wǎng)絡(luò)中鑒別器的損失函數(shù)；訓(xùn)練兩級反射光消除網(wǎng)絡(luò)直到兩級反射光消除網(wǎng)絡(luò)參數(shù)收斂得到訓(xùn)練好的兩級反射光消除網(wǎng)絡(luò)；最后用訓(xùn)練好的兩級反射光消除網(wǎng)絡(luò)對測試數(shù)據(jù)集進(jìn)行圖像反射光去除，輸出圖像反射光去除以后的透射圖。本發(fā)明克服了現(xiàn)有技術(shù)中容易出現(xiàn)色彩失真和細(xì)節(jié)損失的缺點(diǎn)，使得本發(fā)明對反射圖像的去除效果更加明顯，并且不存在色彩失真。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體涉及一種基于兩級反射光消除網(wǎng)絡(luò)的圖像反射光去除方法。

背景技術(shù)

反射光去除是圖像質(zhì)量提升技術(shù)領(lǐng)域的重要組成部分，它在光電成像系統(tǒng)、圖像復(fù)原系統(tǒng)、圖像質(zhì)量提升系統(tǒng)等許多系統(tǒng)中都有非常廣泛的實(shí)際應(yīng)用。近幾年，基于深度學(xué)習(xí)的圖像反射光去除方法廣泛應(yīng)用在圖像質(zhì)量提升領(lǐng)域。

現(xiàn)有的圖像反射光去除方法中，CEILNet網(wǎng)絡(luò)由兩個結(jié)構(gòu)相同的32層子網(wǎng)絡(luò)構(gòu)成，總深度達(dá)到64層，其中第一個子網(wǎng)絡(luò)接收反射干擾圖像及其梯度作為輸入，其輸出為透射光的梯度預(yù)測，而第二個子網(wǎng)絡(luò)則將反射干擾圖像與預(yù)測梯度值作為輸入，最終得到透射光估計。兩個子網(wǎng)絡(luò)相互獨(dú)立，單獨(dú)訓(xùn)練推理。該方法存在的不足之處是：由于CEILNet網(wǎng)絡(luò)增強(qiáng)特性數(shù)量較少，因此圖像反射光去除以后的結(jié)果存在色彩失真。

目前還存在利用CRRN網(wǎng)絡(luò)對圖像反射光去除的方法，該方法同樣將反射干擾圖像及其梯度作為獨(dú)立輸入，其不同點(diǎn)是兩個子網(wǎng)絡(luò)在多個不同尺度上進(jìn)行了互聯(lián)，其梯度與圖像推理可以并行實(shí)現(xiàn)，這比CEILNet更加緊湊，而且兩個子網(wǎng)絡(luò)不再需要分別訓(xùn)練。該方法存在的不足之處是：由于CRRN網(wǎng)絡(luò)是直接估計透射圖，因此圖像反射光去除以后的結(jié)果存在細(xì)節(jié)損失的問題。

發(fā)明內(nèi)容

本發(fā)明針對現(xiàn)有技術(shù)中的不足，提供一種基于兩級反射光消除網(wǎng)絡(luò)的圖像反射光去除方法，首先利用模擬數(shù)據(jù)和真實(shí)數(shù)據(jù)構(gòu)建訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集，再設(shè)置兩級反射光消除網(wǎng)絡(luò)中生成器的一級子網(wǎng)絡(luò)和二級子網(wǎng)絡(luò)；然后設(shè)定兩級反射光消除網(wǎng)絡(luò)中生成器的損失函數(shù)；再設(shè)定兩級反射光消除網(wǎng)絡(luò)中鑒別器的損失函數(shù)；訓(xùn)練兩級反射光消除網(wǎng)絡(luò)直到兩級反射光消除網(wǎng)絡(luò)參數(shù)收斂，得到訓(xùn)練好的兩級反射光消除網(wǎng)絡(luò)；最后用訓(xùn)練好的兩級反射光消除網(wǎng)絡(luò)對測試數(shù)據(jù)集進(jìn)行圖像反射光去除，輸出圖像反射光去除以后的透射圖。

為實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：一種基于兩級反射光消除網(wǎng)絡(luò)的圖像反射光去除方法，包括如下步驟：

步驟一、利用模擬數(shù)據(jù)和真實(shí)數(shù)據(jù)構(gòu)建訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集；

步驟二、設(shè)置兩級反射光消除網(wǎng)絡(luò)中生成器的一級子網(wǎng)絡(luò)；

步驟三、設(shè)置兩級反射光消除網(wǎng)絡(luò)中生成器的二級子網(wǎng)絡(luò)；

步驟四、利用訓(xùn)練數(shù)據(jù)集中模擬數(shù)據(jù)的真實(shí)透射圖和反射圖、粗估計的透射圖和反射圖以及圖像反射光去除以后的透射圖，共同構(gòu)造兩級反射光消除網(wǎng)絡(luò)中生成器基于模擬數(shù)據(jù)像素?fù)p失的損失函數(shù)；

步驟五、利用訓(xùn)練數(shù)據(jù)集中真實(shí)數(shù)據(jù)的真實(shí)透射圖、粗估計的透射圖以及圖像反射光去除以后的透射圖，共同構(gòu)造兩級反射光消除網(wǎng)絡(luò)中生成器基于真實(shí)數(shù)據(jù)像素?fù)p失的損失函數(shù)；

步驟六、利用訓(xùn)練數(shù)據(jù)集中模擬數(shù)據(jù)的真實(shí)透射圖和反射圖、粗估計的透射圖和反射圖以及圖像反射光去除以后的透射圖，共同構(gòu)造兩級反射光消除網(wǎng)絡(luò)中生成器基于模擬數(shù)據(jù)感知損失的損失函數(shù)；

步驟七、利用訓(xùn)練數(shù)據(jù)集中真實(shí)數(shù)據(jù)的真實(shí)透射圖、粗估計的透射圖以及圖像反射光去除以后的透射圖，共同構(gòu)造兩級反射光消除網(wǎng)絡(luò)中生成器基于真實(shí)數(shù)據(jù)感知損失的損失函數(shù)；