[發明專利]一種基于CycleGAN的遙感仿真圖像生成方法

在審

• 申請號: 202011572862.3
• 申請日: 2020-12-28
• 公開（公告）號: CN112529774A
• 公開（公告）日: 2021-03-19
• 發明（設計）人: 潘斌;褚鈞正;徐夏;汪益新;汪時嘉
• 申請（專利權）人: 南開大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本遙感仿真圖像生成方法首先獲取游戲衛星圖像與現實遙感圖像，將其進行相同的分割后劃分為訓練集與測試集，之后通過深度學習中的經典生成模型CycleGAN算法訓練由游戲衛星圖像向遙感圖像轉換的神經網絡，訓練完成后，固定網絡中的生成器參數，即可將任意輸入的游戲衛星圖像轉換為遙感仿真圖像。本發明可用于仿真遙感圖像的生成。由于現實中的遙感數據很難獲得大量的標簽，因此使用本方法可有效解決遙感領域數據標注不足的問題，所生成的仿真圖像可進一步應用于其他任務，具有廣闊的市場前景和應用價值。

技術領域

一種CycleGAN的遙感仿真圖像生成方法，屬于遙感圖像處理領域，特別涉及遙感圖像仿真與圖像生成技術。

背景技術

遙感圖像具有光譜分辨率高、波段多、空間相關性強等特點，在軍事、地理、農業等領域均有廣泛應用。然而遙感圖像的標注成本高，耗時長，且需要相關領域的專家知識。到目前為止，雖然已經存有大量的遙感數據可供獲取，但是具有完整像素級標簽的數據集數量仍然有限。

針對遙感及計算機視覺領域缺少像素級標簽的問題，國內外學者進行了廣泛的研究，提出了一系列較為有效的方法，例如半監督生成對抗網絡算法，深度域適應算法，場景遷移語義分割算法等。

半監督變分生成對抗網絡算法使用，并在此基礎上添加了編碼器-解碼器結構生成偽樣本，從而能夠在少標簽的情況下達到更加魯棒的分類效果。

深度域適應(DAN)是基于域適應中常見的最大均值差異損失(MMD Loss)的基礎上提出的深度域適應的無監督域適應方法。先用預訓練的網絡對前三層網絡參數進行固定，對中間兩層網絡參數進行微調，最后三層使用MMD Loss進行訓練。這種方法在保持源域與目標域分布對齊的基礎上又充分發揮了深度卷積神經網絡強大的擬合效果，提高了域適應的分類準確率。

場景遷移語義分割算法嘗試利用游戲場景圖像進行語義分割訓練任務，取得了良好的效果，在很大程度上緩解了語義分割中標簽不足的問題。

發明內容

(一)要解決的技術問題

本發明提供一種基于CycleGAN的遙感仿真圖像生成方法。本方法是對傳統遙感仿真圖像生成方法的改進和拓展，利用循環生成對抗網絡(CycleGAN)將游戲風格的衛星圖像轉換為顯示風格的遙感圖像，從而克服了遙感圖像像素級標簽不足導致的有監督學習任務出現困難的問題。

(二)技術方案

一種基于CycleGAN的遙感仿真圖像生成方法，其特征在于包括以下具體步驟：

步驟一、將游戲內的衛星圖像進行分割，并劃分為訓練集和測試集。

步驟二、將現實中的遙感數據集進行相同的分割處理，并同步驟一的相同比例劃分訓練集和測試集。

步驟三、設置訓練的網絡參數，包括輪數、學習率等。

步驟四、將訓練集數據輸入CycleGAN網絡進行訓練，并用測試集測試訓練效果。

步驟五、訓練完成后提取訓練好的生成器的網絡參數，并將現實中的遙感圖像輸入至該網絡，即可生成風格轉換的仿真遙感圖像。

(三)有益效果

本發明采用深度學習中的循環生成對抗網絡進行遙感圖像的仿真，充分利用圖像中所包含的數據信息，可以有效地生成高質量的遙感仿真圖像，做到了對數據的充分挖掘和高效利用；通過對游戲中的高質量衛星圖像進行仿真處理生成仿真圖像，大量的有標簽的游戲圖像數據可以作為該方法的數據來源，使得該方法具有相當高的普適性；利用該方法生成仿真圖像，可有效地解決遙感領域數據標注不足地問題，生成的遙感仿真圖像可進一步用于深度學習的各類常見任務，包括語義分割、目標檢測等；采用計算機視覺領域較為成熟的CycleGAN算法進行遙感仿真圖像的生成，該方法有可靠的理論支撐與良好的實際效果，算法的收斂速度較快，具有可觀的運行效率。