[發明專利]一種城市可見光遙感圖像陰影去除的弱監督方法

有效

• 申請號: 202011268636.6
• 申請日: 2020-11-13
• 公開（公告）號: CN112529789B
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 謝鳳英;湯萌;葛瑞謙;姜志國;張浩鵬
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06V20/10;G06V10/82;G06N3/04
• 代理公司: 北京慧泉知識產權代理有限公司 11232
• 代理人: 王順榮;李娜

1.一種城市可見光遙感圖像陰影去除的弱監督方法，其特征在于：包括以下步驟：

步驟一：建立數據集

截取未受到陰影遮蓋的區域作為無陰影圖像，截取受到陰影遮蓋的區域作為有陰影圖像；由此構建出有陰影-無陰影數據集來對去陰影網絡進行訓練；

步驟二：陰影去除網絡結構設計

陰影去除網絡共包括三部分組件：生成器、判別器以及陰影遷移模塊；設計了三個流程來實現對生成器和判別器的訓練，三個流程分別為生成對抗流程、陰影再去除流程、無陰影保真流程；

步驟三：陰影遷移模塊設計

陰影遷移模塊是生成對抗網絡能夠對非配對的有陰影-無陰影數據進行學習的基礎；根據Retinex視網膜大腦皮層理論可知，遙感圖像中的陰影為空間中光照分布的一種表現，如果將產生陰影的光照定義為L_s，將相同場景的有陰影圖和無陰影圖分別定義為I_s和I_r，那么有陰影圖是無陰影圖和光照圖的乘積：

I_s(x，y)＝L_s(x，y)·I_r(x，y) (1)

其中x，y表示圖像像素點的位置；

考慮陰影圖是可遷移的，即考慮陰影的產生僅與光照條件有關，與圖像中的紋理無關；一個無陰影的場景I′_r(x，y)，通過疊加陰影圖的方式，將另一場景I_s(x，y)的陰影L_s(x，y)遷移過來，形成新的陰影場景I′_s(x，y)；

陰影提取階段，陰影遷移模塊將網絡輸入的有陰影圖像I_s與生成器輸出的無陰影圖像相除，獲得陰影L_s，而后在陰影疊加階段，將陰影與另一張來自于訓練數據集的無陰影圖像I_r相乘，完成陰影遷移；

定義陰影遷移模塊T為：

其中為輸入有陰影圖像，為生成器輸出結果，I_r為無陰影圖像；這里T(·)表示對圖像元素進行計算，即：

這里ε為一個很小的量，防止除0的情況出現；

步驟四：網絡訓練

4.1損失函數設計

步驟二中定義的三個訓練流程，每個流程都對應有損失函數以完成對網絡的訓練；

4.2對陰影再去除流程數據輸入的處理

在網絡的陰影再去除流程階段，設計了數據Dropout策略來提升對生成器的效果；對生成對抗網絡進行訓練時，使用批量梯度更新的方法，如果設每個批次的圖像數量為B，每次對生成器G進行梯度更新時，對應地使用陰影遷移模塊生成B張仿真的有陰影圖像；

以判別網絡對B張仿真圖的判別輸出為依據，將一個批次中判別器認定最有可能為仿真的有陰影圖的結果剔除，同時將判別器認為最不可能為仿真的有陰影圖像的數據復制一份，這樣得到高質量的陰影-無陰影遙感數據仿真對，提高了對生成器訓練的效果；

4.3網絡訓練過程

根據損失函數，定義訓練網絡的所需的min-max問題為：

對公式(8)的求解使用隨機梯度下降系列方法進行優化；首先固定生成器G的參數，訓練判別器D，使用梯度下降的方式訓練k輪，之后固定判別器D的參數，訓練生成器G，使用梯度下降方式訓練1輪；

步驟五：遙感圖像陰影去除結果獲得

在網絡訓練結束之后，將訓練好的生成器作為陰影去除模型，輸入單幅有陰影的遙感圖像，網絡直接輸出相應的去除陰影后的結果。

2.根據權利要求1所述的一種城市可見光遙感圖像陰影去除的弱監督方法，其特征在于：在步驟二中，生成對抗流程：首先將帶有陰影的遙感圖像作為輸入，生成器將會生成對應的無陰影結果；將生成器的輸入和輸出，以及來自數據集中與輸入相同數量的無陰影圖像作為陰影遷移模塊的輸入，陰影遷移模塊會將生成器所輸入圖像的陰影，遷移到無陰影圖像中，得到仿真的有陰影圖像，進而得到仿真的有陰影-無陰影數據對；判別器在這里對仿真有陰影遙感圖像的真實性進行判斷，對每張圖輸出一個判別值，該判別值越大，說明遷移模塊得到的仿真有陰影圖像越真實。