[發(fā)明專利]基于弱監(jiān)督的雙網(wǎng)絡互激勵學習陰影去除方法

有效

• 申請?zhí)枺?/td>: 202110980864.4
• 申請日: 2021-08-25
• 公開（公告）號: CN113870124B
• 公開（公告）日: 2023-06-06
• 發(fā)明（設計）人: 蔣曉悅;李煜祥;王眾鵬;韓逸飛;馮曉毅;夏召強
• 申請（專利權）人: 西北工業(yè)大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/30;G06N3/0464;G06N3/0455;G06N3/048;G06N3/0895
• 代理公司: 西安凱多思知識產(chǎn)權代理事務所(普通合伙) 61290
• 代理人: 劉新瓊

1.一種基于弱監(jiān)督的雙網(wǎng)絡互激勵學習陰影去除方法，其特征在于包括下述步驟：

步驟1：數(shù)據(jù)準備；

僅使用陰影圖像作為輸入、陰影檢測標簽作為標簽完成陰影去除任務；將接近陰影邊界的陰影區(qū)域像素的平均灰度值與非陰影區(qū)域像素的平均灰度值相除，得到陰影提亮系數(shù)，如下公式所示：

其中，I_shadow-free表示陰影區(qū)域像素的平均灰度值，I'_shadow表示非陰影區(qū)域像素的平均灰度值，L_d為三顏色通道直射光強度，k是陰影提亮系數(shù)；

將陰影區(qū)域所有像素點乘以陰影提亮系數(shù)k，從而提亮陰影區(qū)域，得到粗陰影提亮圖像，作為陰影去除網(wǎng)絡訓練的偽標簽；由此，獲得相較于陰影檢測標簽更適合于訓練陰影去除網(wǎng)絡的偽標簽；

步驟2：構(gòu)造陰影殘差網(wǎng)絡；

陰影殘差網(wǎng)絡中網(wǎng)絡輸入為3通道RGB格式的陰影圖像，輸入的陰影圖像首先經(jīng)過一個大小為3*3，通道數(shù)為48的卷積層，然后依次分別經(jīng)過四組稠密塊和用來控制通道數(shù)的下采樣層的組合，通過逐層的編碼過程得到圖像的高層級特征；之后，將得到的高層級特征再通過四組稠密塊和用來控制通道數(shù)的下采樣層的組合逐層解碼得到對陰影區(qū)域的估計；在解碼過程中，編碼獲得的高層級特征通過上采樣層恢復特征空間尺寸，然后與相應層級的解碼特征通過合并操作模塊將兩組特征連接在一起，之后再通過稠密塊對特征進一步解碼；依次重復該過程四次，完成對編碼特征的解碼，獲得網(wǎng)絡的輸出結(jié)果，即陰影區(qū)域；

步驟3：構(gòu)造陰影提亮網(wǎng)絡；

陰影提亮網(wǎng)絡由7層模塊順序依次連接而成，陰影提亮網(wǎng)絡由卷積層、五層殘差層和另外一個卷積層連接組成，并在輸入與最后一個卷積層直接進行了跳連接，最終輸出結(jié)果為陰影去除圖像；

步驟4：設計陰影殘差網(wǎng)絡與陰影提亮網(wǎng)絡損失函數(shù)；

步驟4-1：陰影殘差網(wǎng)絡損失函數(shù)；

記陰影圖像為I_shadow，在三個顏色空間獲得的粗陰影提亮圖像為I_relight，定義為：

I_shadow＝k_s×R_d+R_e??????????????(3)

I_relight＝k_r×R_d+R_e?????????????(4)

其中R_d代表了直射光在物體表面反射后體現(xiàn)在三個顏色通道中的強度，R_e代表了環(huán)境光在物體表面反射后體現(xiàn)在三個顏色通道中的強度；k_s和k_r分別為陰影圖像的陰影因子和陰影提亮圖像的陰影因子，表示環(huán)境光是均勻情況下有多少直射光到達像素，陰影因子k_s與k_r的取值范圍為0到1；

同時，若無陰影圖像為I_free＝R_d+R_e，則陰影圖像對應的殘差圖像為M_shadow＝I_free-I_shadow；同理可得，I_shadow與I_relight對應的殘差圖像定義為：

M_shadow＝(1-k_s)×R_d????????????????????(5)

M_relight＝(1-k_r)×R_d?????????????????????(6)

聯(lián)立公式(3)和(4)可得：

I_shadow-I_relight＝(k_s-k_r)×R_d???????(7)

聯(lián)立公式(5)和(6)可得：

M_shadow-M_relight＝(k_s-k_r)×R_d??????(8)

此時可推得用來約束陰影殘差網(wǎng)絡的函數(shù)表達，記為公式(9)：

I_shadow-I_relight＝M_shadow-M_relight?????(9)

使用MSE損失函數(shù)約束公式(9)成立，即計算公式兩邊之間差值的平方和，MSE損失函數(shù)定義如下：

其中y_i，分別為公式(9)兩端計算所得圖像中i像素的值，n為圖像中像素點的數(shù)量；

但由于陰影殘差網(wǎng)絡在學習后偏向于穩(wěn)定輸出全0值圖像或者將輸入陰影圖不加以改變直接輸出，此時滿足公式(9)成立，引入抑制生成殘差圖中無陰影區(qū)域像素值的損失函數(shù)該是通過求取殘差圖中無陰影區(qū)域像素點的灰度值與零值的距離來抑制無陰影區(qū)殘差值的生成，損失定義為：

其中i為屬于非陰影區(qū)的所有像素點；m為非陰影區(qū)像素點的數(shù)量；|y_i|₁表示對y_i取1范數(shù)；最后，對于在訓練的過程中陰影區(qū)域容易產(chǎn)生顏色偏差問題，引入了針對提亮圖像色差的損失函數(shù)由此減弱生成的陰影去除圖像的顏色偏差問題，定義為：

其中y′_i為陰影殘差網(wǎng)絡生成的殘差圖像與原圖像相加后得到的陰影去除圖中i像素位置的值；I_i為RGB顏色空間得到的粗提亮圖像在i像素位置的像素值；n為圖像中像素點的數(shù)量；由此，得到完整的陰影殘差網(wǎng)絡訓練損失函數(shù)為：

步驟4-2：設計陰影提亮網(wǎng)絡損失函數(shù)；

陰影提亮網(wǎng)絡使用均值方差損失函數(shù)作為了陰影提亮網(wǎng)絡的主要損失函數(shù)，其中定義如下：

其中y″_i，分別為輸入陰影圖像與陰影提亮網(wǎng)絡輸出圖像中i像素位置的像素值，n為圖像中像素點的數(shù)量；

由于陰影去除任務中只關注陰影區(qū)域的像素值變化，對于非陰影區(qū)域希望其值是不要變化的，因此，引入1范數(shù)損失來約束非陰影區(qū)域值的不變性，該損失定義為：

其中y″_i，同樣為輸入陰影圖像與陰影提亮網(wǎng)絡輸出圖像中i像素位置的像素值，但此時的i像素均在非陰影區(qū)域；m為圖像中非陰影區(qū)域像素點的數(shù)量；||₁表示對函數(shù)取1范數(shù)；類似的，對于陰影區(qū)域容易產(chǎn)生顏色偏差問題，引入了向粗提亮圖像學習的損失函數(shù)希望減少生成的陰影去除圖像的顏色偏差問題，定義為：

其中y″_i為陰影提亮網(wǎng)絡生成的陰影去除圖中i像素位置的值；I_i為RGB顏色空間得到的粗提亮圖像在i像素位置的像素值；n為圖像中像素點的數(shù)量；

由此，得到完整的陰影提亮網(wǎng)絡訓練損失函數(shù)為：

基于弱監(jiān)督的陰影去除網(wǎng)絡的損失由兩個網(wǎng)絡的損失之和L＝L_M+L_R構(gòu)成，其中λ_a，λ_b，λ_c，λ_d均為超參數(shù)；

步驟5：設計整體網(wǎng)絡框架；

基于弱監(jiān)督的陰影去除網(wǎng)絡整體框架由兩個子網(wǎng)絡組成：陰影殘差網(wǎng)絡M-net和陰影提亮網(wǎng)絡R-net兩部分組成，即利用偽標簽訓練陰影殘差網(wǎng)絡，同時利用陰影殘差網(wǎng)絡輸出來訓練陰影提亮網(wǎng)絡，并使用R-net輸出作為M-net輸入一部分，從而達到相互激勵的目的；

其中，陰影殘差網(wǎng)絡用于估計陰影殘差圖，并期望通過陰影殘差圖消除陰影；陰影殘差網(wǎng)絡的輸入有三類信息：一類是陰影圖像I_shadow；一類是粗陰影提亮圖像I_relight；還有一類是由陰影提亮網(wǎng)絡生成的陰影粗去除結(jié)果I_R-net；陰影殘差網(wǎng)絡的輸出為輸入圖像對應的陰影殘差圖像，即：輸入為陰影圖像I_shadow時，輸出為殘差圖像M_shadow；輸入為粗陰影提亮圖像I_relight時，輸出為殘差圖像M_relight；輸入為陰影粗去除結(jié)果I_R-net時，輸出為殘差圖像M_R-net；陰影提亮網(wǎng)絡用于消除圖像中的陰影區(qū)域，對于輸入的包含陰影的圖像，生成陰影消除的結(jié)果；

訓練分為兩個階段，第一階段，網(wǎng)絡初始訓練，利用陰影圖像I_shadow和利用粗陰影提亮圖像I_relight分別對陰影殘差網(wǎng)絡和陰影提亮網(wǎng)絡進行初始訓練獲得網(wǎng)絡初始參數(shù)；第二階段，陰影殘差網(wǎng)絡和陰影提亮網(wǎng)絡交替訓練，即先訓練陰影殘差網(wǎng)絡同時固定陰影提亮網(wǎng)絡，然后再訓練陰影提亮網(wǎng)絡同時固定陰影殘差網(wǎng)絡，通過不斷交替迭代使得整個網(wǎng)絡達到最優(yōu)；

其中，對于陰影殘差網(wǎng)絡，將陰影圖像I_shadow和與之對應的粗陰影提亮圖I_relight兩張圖片一起作為一組輸入，或者將陰影圖像I_shadow和對應的陰影粗去除結(jié)果圖I_R-net兩張圖片作為一組輸入；兩組輸入圖像任取一組作為輸入送入陰影殘差網(wǎng)絡，分別得到各自相應的陰影殘差圖像，根據(jù)公式(9)，兩張殘差圖之差等于輸入的兩張圖像之差，根據(jù)式(13)計算得到陰影殘差網(wǎng)絡的訓練損失L_M，其中均值方差損失L^M_mse,抑制損失L^M_zero,顏色一致性損失L^M_color分別根據(jù)公式(10),公式(11),公式(12)獲得；

對于陰影提亮網(wǎng)絡，輸入為陰影圖像，期望其輸出為陰影去除圖像；由于缺乏真實的陰影去除圖像作為訓練標簽，而利用陰影殘差網(wǎng)絡生成M_shadow與陰影圖像I_shadow直接相加得到的陰影去除結(jié)果圖像I_M-net作為標簽圖像，并通過計算陰影去除結(jié)果圖像I_M-net與陰影提亮網(wǎng)絡的陰影粗去除結(jié)果I_R-net之間的誤差，即公式(17)，通過誤差反傳來實現(xiàn)對陰影提亮網(wǎng)絡參數(shù)的優(yōu)化。