[發明專利]基于級聯殘差生成對抗網絡的SAR和光學圖像雙向翻譯方法

在審

• 申請號: 201910275216.1
• 申請日: 2019-04-04
• 公開（公告）號: CN111784560A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 徐豐;符士磊;金亞秋
• 申請（專利權）人: 復旦大學
• 主分類號: G06T3/00
• 分類號: G06T3/00
• 代理公司: 上海元一成知識產權代理事務所(普通合伙) 31268
• 代理人: 吳桂琴

本發明屬遙感圖像處理技術領域，涉及將SAR圖像和光學圖像間相互翻譯的方法，尤其是一種基于級聯殘差生成對抗網絡的SAR和光學圖像雙向翻譯方法。本發明包括步驟：(1)訓練樣本嚴格配準；(2)圖像預處理；(3)以監督學習的方式訓練級聯殘差生成對抗網絡；(4)基于監督學習的預訓練網絡，以非監督學習的方式迭代訓練待測試樣本，改善翻譯結果。本發明能高效實現SAR和光學兩種截然不同的傳感模式的數據之間的轉換，能將共同可見的信息從一種圖像轉換到另一種圖像中，且能根據先驗知識生成新的內容。本方法可用于SAR圖像解譯，適用于無雷達背景知識的人員。本發明可促進現有和未來SAR遙感圖像存檔的廣泛應用，具有推廣應用前景。

發明領域

本發明屬遙感圖像處理技術領域，涉及將SAR圖像和光學圖像間相互翻譯的方法，具體涉及一種基于級聯殘差生成對抗網絡的SAR和光學圖像雙向翻譯方法。本發明中將不同分辨率、極化方式的SAR圖像與光學圖像之間進行轉換，可用于輔助專業人員進行對SAR圖像的解譯。

背景技術

現有技術公開了合成孔徑雷達(Synthetic Aperture Radar，SAR)具有在全天時、全天候條件下高分辨率成像的能力。作為一種先進的空間遙感技術，它在地球科學、天氣變化、環境系統監測、海洋資源利用、行星探測等方面得到了廣泛的應用。實踐顯示，盡管SAR成像技術發展迅速，但SAR圖像的解譯仍然存在挑戰，并且隨著軌道上眾多雷達衛星每天都在獲取大量的SAR數據，解譯變得越來越迫切；有研究顯示，由于其獨特的成像機制和復雜的電磁波散射機理，SAR表現出與光學圖像非常不同的成像特征，人類的視覺系統適用于光學圖像的解譯，卻很難解譯SAR圖像；雖然SAR圖像包含豐富的有關目標和場景信息，例如幾何結構和材料屬性，但它們只能由訓練有素的專家解譯，這已成為利用現有SAR圖像和進一步推廣SAR應用的主要障礙。

據報道，自從2012年卷積神經網絡(CNN)首次被成功應用于實際的圖像分類任務以來，深度學習，特別是CNN已經徹底顛覆了現有的計算機視覺領域，它將卷積層和池化層堆疊起來，通過監督學習自動提取圖像的不同尺度的特征。自2014年以來，基于CNN的方法已逐漸被應用于SAR圖像的解譯，典型的任務包括，如自動目標識別(ATR)、地表分類、相干斑濾波、變化檢測等。

相比于計算機領域中被廣泛研究的兩個光學圖像域之間轉換的圖像翻譯，業內認為，SAR和光學圖像之間的轉換問題更加復雜，其中需要涉及兩種傳感模式截然不同的數據，如，SAR和光學圖像中的信息部分重疊、部分不同，這意味著兩個傳感器僅觀察到部分的共同信息，而其他的信息只對一種傳感器可見。本技術領域公認一個成功的翻譯算法應該能夠將相同的信息從一種圖像轉換到另一種圖像中，并且在理想的情況下，根據學習到的先驗知識生成新的內容。

基于現有技術的基礎與現狀，本申請的發明人擬提供一種將SAR圖像和光學圖像間相互翻譯的算法，尤其一種基于級聯殘差生成對抗網絡的SAR和光學圖像雙向翻譯方法，所涉及的這樣一個交叉模式數據的轉換需要一個新穎、可調的網絡方案以及大量嚴格配準的SAR和光學圖像對作為訓練數據。

發明內容

本發明的目的在于，基于現有技術的基礎與現狀，提供一種將SAR圖像和光學圖像間相互翻譯的方法，尤其是一種基于級聯殘差生成對抗網絡的SAR和光學圖像雙向翻譯方法，本方法是能夠為SAR圖像中目標正確分類并著色、具有跨場景泛化能力的圖像轉換方法。

具體的，本發明的基于級聯殘差生成對抗網絡的SAR和光學圖像雙向翻譯方法，包括步驟：

(1)首先從數據集中挑選部分SAR圖像和對應的光學圖像，并對之嚴格配準；

(2)然后對所有即將使用的SAR和光學圖像進行預處理，包括降噪、歸一化、切片等；

(3)接著采用監督學習的方式，將嚴格配對的SAR和光學圖像送入多尺度殘差生成對抗網絡中，迭代訓練該模型；