[發明專利]基于兩級反射光消除網絡和像素損失的反射光去除方法

有效

• 申請號: 202011573525.6
• 申請日: 2020-12-25
• 公開（公告）號: CN112634161B
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 趙東;汪磊;王青;李晨;張見;牛明;郜云波;馬弘宇;陶旭;劉朝陽;楊成東
• 申請（專利權）人: 南京信息工程大學濱江學院
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 徐燕

1.基于兩級反射光消除網絡和像素損失的反射光去除方法，其特征在于，包括如下步驟：

步驟一、利用模擬數據和真實數據構建訓練數據集和測試數據集；

步驟二、設置兩級反射光消除網絡中生成器的一級子網絡；

步驟三、設置兩級反射光消除網絡中生成器的二級子網絡；

步驟四、利用訓練數據集中模擬數據的真實透射圖和反射圖、粗估計的透射圖和反射圖以及圖像反射光去除以后的透射圖，共同構造兩級反射光消除網絡中生成器基于模擬數據像素損失的損失函數；

步驟五、利用訓練數據集中真實數據的真實透射圖、粗估計的透射圖以及圖像反射光去除以后的透射圖，共同構造兩級反射光消除網絡中生成器基于真實數據像素損失的損失函數；

步驟六、將兩級反射光消除網絡中生成器基于模擬數據像素損失的損失函數、兩級反射光消除網絡中生成器基于真實數據像素損失的損失函數以及原始生成器對抗損失函數加權相加，作為兩級反射光消除網絡中生成器的損失函數；

步驟七、設定兩級反射光消除網絡中鑒別器的損失函數，根據如下公式設定兩級反射光消除網絡中鑒別器的損失函數：

其中，L_D表示兩級反射光消除網絡中鑒別器的損失函數，T表示真實透射圖，μ為的權重系數；E(·)表示求期望操作，D表示兩級反射光消除網絡中的鑒別器，I表示輸入圖像，G表示原始生成器，D(I,G(I,θ))表示在給定輸入圖像以及待鑒別圖像G(I,θ)時，兩級反射光消除網絡中的鑒別器輸出的G(I,θ)屬于透射圖像的概率，θ表示原始生成器網絡參數，

步驟八、訓練兩級反射光消除網絡，依次載入訓練數據集中第M幀圖像作為當前幀圖像，將當前幀圖像輸入生成器的一級子網絡得到粗估計的透射圖和反射圖，再將粗估計的透射圖和反射圖輸入生成器的二級子網絡得到圖像反射光去除以后的透射圖；判斷當前幀圖像是否為訓練數據集的最后一幀圖像；如果是，則完成此輪訓練，進入步驟九；如果不是，則繼續載入后續幀圖像進行訓練，其中，M表示大于等于一的整數；

步驟九、判斷兩級反射光消除網絡參數是否收斂；如果是，則完成全部訓練，進入步驟十；如果不是，則返回步驟八，繼續下一輪訓練直到得到訓練好的兩級反射光消除網絡；

步驟十、用訓練好的兩級反射光消除網絡對測試數據集進行圖像反射光去除，輸出圖像反射光去除以后的透射圖；

步驟二具體通過以下步驟實現：

S201、設定一個8層的編碼-解碼器，該編碼-解碼器具有4個不同尺度的卷積塊；

S202、利用4個卷積塊注意單元分別連接同一尺度的編碼-解碼器層；

S203、構建一個全卷積神經網絡，前七層的通道數均為64，第八層為兩個三通道，全卷積子網絡的前7層的通道數均設置為64，并引入空洞卷積來增大感受野，空洞卷積的空間跨度分別設置為{2,4,8,16,32,64,1,1}，卷積窗口尺寸均為3×3，前7層的激活與歸一化函數設置與編解碼子網絡相同，最后一層的輸出為3×2通道，并將其作為兩個三通道RGB圖像來分別表示粗估計的反射圖和透射圖；

S204、將步驟S201至S203連接在一起作為兩級反射光消除網絡中生成器的一級子網絡；

步驟三具體通過以下步驟實現：

S301、設定9層基于門卷積神經網絡的特征提取層，9層基于門卷積神經網絡的特征提取層的特征通道數均為32，采用的空洞卷積空間跨度分別設置為{1,2,4,8,16,32,64,1,1}，卷積窗口尺寸均為3×3；

S302、設定1層卷積網絡特征提取層，最后1層卷積網絡特征提取層為普通卷積層且不含激活和歸一化，本層輸出為3通道，即RGB格式的透圖像反射光去除以后的透射圖；

S303、將步驟S301至S302連接在一起作為兩級反射光消除網絡中生成器的二級子網絡；

卷積塊注意單元通過兩個步驟來實現特征增強：第一步，針對通道特征增強，首先對每個通道分別進行最大池化與平均池化，形成兩個與特征通道數等長的特征向量；然后再通過共享權值的三層全連接網絡對兩個特征向量進行處理，最終得到一個增強向量；最后將增強向量中元素的值作為增強系數，與各個通道特征圖分別相乘，實現特征的通道增強，第二步，針對空間特征增強，則是先對特征進行空間最大池化和平均池化，得到兩幅特征圖；而后通過參數共享的卷積與Sigmoid激活，得到空間增強系數；最后將這一增強系數與原特征圖相同位置所有通道的值分別相乘，得到最終結果，全卷積子網絡的前7層的通道數均設置為64，并引入空洞卷積來增大感受野，空洞卷積的空間跨度分別設置為{2,4,8,16,32,64,1,1}，卷積窗口尺寸均為3×3，前7層的激活與歸一化函數設置與編解碼子網絡相同，最后一層的輸出為3×2通道，并將其作為兩個三通道RGB圖像來分別表示粗估計的反射圖和透射圖。