[發(fā)明專利]基于弱監(jiān)督的雙網絡互激勵學習陰影去除方法

有效

• 申請?zhí)枺?/td>: 202110980864.4
• 申請日: 2021-08-25
• 公開（公告）號: CN113870124B
• 公開（公告）日: 2023-06-06
• 發(fā)明（設計）人: 蔣曉悅;李煜祥;王眾鵬;韓逸飛;馮曉毅;夏召強
• 申請（專利權）人: 西北工業(yè)大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/30;G06N3/0464;G06N3/0455;G06N3/048;G06N3/0895
• 代理公司: 西安凱多思知識產權代理事務所(普通合伙) 61290
• 代理人: 劉新瓊

本發(fā)明提供了一種基于弱監(jiān)督的雙網絡互激勵學習陰影去除方法，只需要陰影檢測任務標簽即可完成陰影去除任務的訓練，其中陰影殘差網絡用于升成陰影分布的模擬圖，利用弱標簽來訓練，陰影提亮網絡是端對端的網絡，可直接由陰影圖像升成陰影去除圖像，利用陰影殘差網絡結果進行訓練，陰影提亮網絡結果作為陰影殘差網絡的輸入，使用陰影殘差網絡在兩張圖像依次輸入網絡得到殘差圖像后，利用輸入圖像和對應殘差圖像間關系計算網絡損失。本發(fā)明豐富樣本的多樣性，提升陰影殘差網絡的能力，有效提高陰影殘差網絡的輸出性能。有效的減少了在數據標注中人力物力的投入。

技術領域

本發(fā)明涉及圖像處理領域，尤其是一種針對單幅圖像使用弱監(jiān)督方法利用雙網絡相互激勵學習完成陰影去除的網絡框架方法。

背景技術

現如今，計算機視覺已被廣泛應用于多種生產、生活場景，例如：工業(yè)視覺檢測、醫(yī)學圖像處理、視頻跟蹤和智能自動駕駛等。然而在具體場景中，由于物體遮擋了入?射光線，使得入射光照的強度發(fā)生了突變，從而使得光照強度在照射平面產生了不連?續(xù)的變化。由此，場景中會產生陰影。而陰影作為一種通常會出現在各種自然圖像中的光學現象，可能會改變原有目標的顏色或者輪廓，因此會增加原有計算機視覺任務?的難度，降低算法的魯棒性。為此，陰影去除任務也隨之被眾多學者列入了研究的目?標。利用算法通過分析陰影周圍環(huán)境和陰影區(qū)域內原本的特征，可以得出用于將陰影?區(qū)域恢復為無陰影區(qū)域的映射關系。這個映射關系就是我們想尋求的陰影去除算法。

對于單幅圖像的陰影去除方法，主要可以分為兩類：第一類是基于機器學習和人工特征選擇的傳統方法，第二類是目前火熱的基于深度學習的陰影去除方法。

基于機器學習的傳統方法通常通過構建陰影模型來解決陰影去除問題。陰影圖像通常被認為是由材料固有屬性和被遮擋的投射光源組成。因此，通過估計被遮擋光源?的參數，然后對圖像進行陰影投射的逆操作處理，就可以得到無陰影圖像。已有方法?多在梯度域和圖像亮度域中去除陰影。其通過基于光照不變性的方法，將梯度域中的陰影邊緣逐漸歸零，然后進行積分以獲取無陰影的圖像。但是這些方法難以處理非均?勻的陰影。

大數據的發(fā)展，計算機運算能力的極大提高以及神經網絡算法推動了深度學習的發(fā)展，端到端的卷積神經網絡已成為目前圖像處理算法的首選?，F有基于深度學習的?陰影去除方法大多數基于生成式對抗網絡。需要完備的標簽對，即陰影圖像和其對應?的無陰影圖像標簽。但是對于陰影去除任務，其標簽的獲取是極為困難的，所以現有陰影去除數據集均數據含量較少且場景簡單。為此，利用弱監(jiān)督的方法，降低標簽標?注成本，增加可用訓練數據是值得研究的方向。

發(fā)明內容

為了克服現有技術的不足，本發(fā)明提供一種基于弱監(jiān)督的雙網絡互激勵學習陰影去除方法。為解決全監(jiān)督陰影去除問題中標簽獲取困難，現有數據集數據量較少的問?題，本發(fā)明提出了一種弱監(jiān)督的雙網絡互激勵學習陰影去除方法。該方法只需要陰影?檢測任務標簽即可完成陰影去除任務的訓練。其中陰影殘差網絡用于升成陰影分布的模擬圖(即陰影圖像直接按像素位置減去其對應無陰影圖像)，利用弱標簽來訓練。陰?影提亮網絡是端對端的網絡，可直接由陰影圖像升成陰影去除圖像，利用陰影殘差網?絡結果進行訓練。同時，陰影提亮網絡結果也會作為陰影殘差網絡的輸入，由此可以?豐富樣本的多樣性，提升陰影殘差網絡的能力。

本發(fā)明解決其技術問題所采用的技術方案的具體步驟如下：

步驟1：數據準備；

僅使用陰影圖像作為輸入、陰影檢測標簽作為標簽完成陰影去除任務；陰影檢測標簽中僅含有陰影的位置信息，并不能直接給出陰影去除所需要的信息；受啟發(fā)于傳?統方法中通常認定陰影邊界處內部與外部小范圍內像素所在物體表面為相同材質，陰?影的產生僅由光線遮擋系數的改變引起。因此，將接近陰影邊界的陰影區(qū)域像素的平均灰度值與非陰影區(qū)域像素的平均灰度值相除，得到陰影提亮系數，如下公式所示：