[發(fā)明專利]一種城市可見光遙感圖像陰影去除的弱監(jiān)督方法

有效

• 申請?zhí)枺?/td>: 202011268636.6
• 申請日: 2020-11-13
• 公開（公告）號: CN112529789B
• 公開（公告）日: 2022-08-19
• 發(fā)明（設(shè)計）人: 謝鳳英;湯萌;葛瑞謙;姜志國;張浩鵬
• 申請（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06V20/10;G06V10/82;G06N3/04
• 代理公司: 北京慧泉知識產(chǎn)權(quán)代理有限公司 11232
• 代理人: 王順榮;李娜

一種可見光遙感圖像陰影去除的弱監(jiān)督深度學(xué)習(xí)方法，將生成對抗網(wǎng)絡(luò)與陰影成像模型相結(jié)合，能夠?qū)Ψ桥鋵Φ臄?shù)據(jù)進行學(xué)習(xí)，實現(xiàn)可見光遙感圖像的陰影去除。通過基于陰影成像模型的陰影遷移模塊，網(wǎng)絡(luò)能夠?qū)⒂嘘幱斑b感圖像中的陰影信息遷移到其他的無陰影遙感圖像中。將經(jīng)過陰影遷移的遙感圖像數(shù)據(jù)和其原始數(shù)據(jù)組成數(shù)據(jù)對作為訓(xùn)練數(shù)據(jù)，對網(wǎng)絡(luò)進行訓(xùn)練來提升網(wǎng)絡(luò)去陰影效果。在整個流程中，所設(shè)計的網(wǎng)絡(luò)不需要輸入嚴(yán)格的有陰影?無陰影的數(shù)據(jù)對，是一種弱監(jiān)督的陰影去除網(wǎng)絡(luò)。通過在生成對抗網(wǎng)絡(luò)中引入陰影遷移流程，使陰影去除模型獲得了對非配對的有陰影和無陰影遙感數(shù)據(jù)學(xué)習(xí)的能力，此外陰影遷移流程引入陰影成像模型，提升了陰影的去除效果。

技術(shù)領(lǐng)域

本發(fā)明屬于遙感圖像增強領(lǐng)域，具體涉及一種基于生成對抗網(wǎng)絡(luò)和陰影成像模型相結(jié)合的、能夠?qū)梢姽膺b感圖像非配對數(shù)據(jù)進行訓(xùn)練的陰影去除方法。

背景技術(shù)

城市可見光遙感圖像會受到陰影的困擾。通常而言，造成城市遙感圖像中出現(xiàn)大面積陰影的情況主要受建筑以及高大樹木等影響。這些陰影的出現(xiàn)降低了遙感圖像的質(zhì)量，對遙感圖像的場景識別、分類以及分割等任務(wù)造成不利影響。比如高大建筑的陰影，會影響遙感圖像道路線檢測的精度；再比如可見光遙感圖像用于建立三維模型(如谷歌地球)時，紋理貼圖所存在的陰影也會對三維模型的視覺效果產(chǎn)生影響。因此，需要一種自動陰影去除方法完成對可見光遙感圖像的陰影去除，來提高遙感圖像的質(zhì)量，從而提高后續(xù)遙感圖像分析的可靠性。

早期的陰影去除方法多通過對梯度、紋理、顏色或者深度等信息分析后，自動或者半自動地檢測出陰影區(qū)域，并對其進行補償。然而陰影區(qū)域檢測去除是相對困難的任務(wù)。我們所看到的圖像是光照、物體形狀、以及照射物體表面紋理和反射率共同作用的結(jié)果。圖像上的某一區(qū)域的絕對亮度很暗不代表一定是陰影區(qū)域，有可能只是物體表面反射率過低的結(jié)果，反之，有的區(qū)域看起來特別亮，也有可能是陰影下的白色物體。要想真正地“理解”陰影，各種方法需要不僅僅關(guān)注于底層的顏色、紋理等物理信息，還要關(guān)注頂層的語義信息。基于深度學(xué)習(xí)的方法因為可以更好地處理頂層語義信息而被大量運用于陰影檢測去除任務(wù)中。但這類陰影去除方法嚴(yán)格依賴于有陰影圖像及其對應(yīng)無陰影圖像的數(shù)據(jù)對(后邊稱“有陰影-無陰影”數(shù)據(jù)對)進行訓(xùn)練，而遙感圖像中有陰影圖像對應(yīng)的無陰影真值是難以獲取的，因此這類方法無法在可見光遙感圖像陰影去除任務(wù)中大規(guī)模應(yīng)用。為方便敘述，下文可見光遙感圖像簡稱為圖像，有陰影可見光遙感圖像簡稱為有陰影圖，無陰影可見光遙感圖像簡稱為無陰影圖。

生成對抗網(wǎng)絡(luò)(GAN)在檢測、分割、風(fēng)格遷移等任務(wù)中得到了廣泛的應(yīng)用。生成對抗網(wǎng)絡(luò)的設(shè)計利用了博弈的思想，生成器G生成假圖像，判別器D來判別生成器圖像的真實性，經(jīng)過對網(wǎng)絡(luò)的損失函數(shù)進行設(shè)計后，G能夠在訓(xùn)練過程中生成更真實的圖像來欺騙D，而D則需要進一步訓(xùn)練來分辨假圖像。這樣在對生成器和判別器的交替迭代優(yōu)化后，最終網(wǎng)絡(luò)達到納什均衡。本發(fā)明設(shè)計了一個全新的生成對抗網(wǎng)絡(luò)模型，通過引入物理光照模型，使生成對抗網(wǎng)絡(luò)能夠在去除陰影的同時生成高質(zhì)量的陰影-無陰影仿真數(shù)據(jù)對，將這個數(shù)據(jù)對作為監(jiān)督信息來訓(xùn)練生成網(wǎng)絡(luò)從而提升網(wǎng)絡(luò)的去陰影能力，可獲得優(yōu)秀的陰影去除效果。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種可見光遙感圖像陰影去除的弱監(jiān)督深度學(xué)習(xí)方法，該方法將生成對抗網(wǎng)絡(luò)與陰影成像模型相結(jié)合，能夠?qū)Ψ桥鋵Φ臄?shù)據(jù)進行學(xué)習(xí)，實現(xiàn)可見光遙感圖像的陰影去除。通過基于陰影成像模型的陰影遷移模塊，網(wǎng)絡(luò)能夠?qū)⒂嘘幱斑b感圖像中的陰影信息遷移到其他的無陰影遙感圖像中。將經(jīng)過陰影遷移的遙感圖像數(shù)據(jù)和其原始數(shù)據(jù)組成數(shù)據(jù)對作為訓(xùn)練數(shù)據(jù)，對網(wǎng)絡(luò)進行訓(xùn)練來提升網(wǎng)絡(luò)去陰影效果。在整個流程中，所設(shè)計的網(wǎng)絡(luò)不需要輸入嚴(yán)格的有陰影-無陰影的數(shù)據(jù)對，是一種弱監(jiān)督的陰影去除網(wǎng)絡(luò)。

本發(fā)明具體技術(shù)方案包括以下步驟：

步驟一：建立數(shù)據(jù)集