[發明專利]面向遙感影像語義分割的深度學習訓練樣本增強方法

有效

• 申請號: 202110676098.2
• 申請日: 2021-06-18
• 公開（公告）號: CN113409322B
• 公開（公告）日: 2022-03-08
• 發明（設計）人: 曾喆;呂波濤;譚文霞;劉善偉
• 申請（專利權）人: 中國石油大學（華東）
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06K9/62;G06V30/19
• 代理公司: 青島眾智源知識產權代理事務所(普通合伙) 37355
• 代理人: 林琪超

本發明公開了一種面向遙感影像語義分割的深度學習訓練樣本增強方法，涉及遙感影像語義分割技術領域，本發明以遙感影像為基礎，設計了三種裁剪方式，最大化的利用原始數據和標記數據，避免在裁剪過程中造成原始影像和標記數據的浪費，通過對原始圖像和標記圖像在水平方向上、垂直方向上以及水平方向和垂直方向上以最佳重疊度進行滑動裁剪，再進行鏡像、水平和旋轉，充分利用了樣本數據，減少了滑動裁剪過程中數據損失，最終可以獲得大量的訓練數據，有利于后續面向像元語義分割的深度學習訓練，為其提供了大量的數據基礎。

技術領域

本發明涉及遙感影像語義分割技術領域，具體涉及一種面向遙感影像語義分割的深度學習訓練樣本的數據增強處理方法。

背景技術

語義分割一直是遙感影像中十分重要的領域，是遙感影像理解的重要手段。隨著深度學習的發展，語義分割與深層神經網絡的結合應用取得了顯著的成效。然而深層網絡的訓練往往需要大量的訓練樣本以滿足模型對特征表示能力的需要。當訓練集較小時，訓練出來的網絡模型無法很好地擬合該訓練集的抽象特征，性能也因此較差。訓練樣本的數據增強方法是通過一定的方法在保持樣本原本特征的情況下對訓練集進行了擴充，提高數據的泛化能力，增強遙感影像上下文聯系。即使訓練數據較少，也可以使用數據增強來增加訓練數據的數量或者部分特征，這樣該網絡模型更具魯棒性。在此情形下，如何對一定的訓練樣本進行增強處理是一關鍵。

目前遙感影像數據增強方法有翻轉、旋轉、縮放和隨機裁剪。耿艷磊等的“高分辨率遙感影像語義分割的半監督全卷積網絡法”中利用旋轉、左右翻轉和上下翻轉對數據進行增強。王恩德等的“基于神經網絡的遙感圖像語義分割方法”中，以一定步長進行滑動切割，再進行翻轉變換和旋轉以增強數據。蘇健民等的“基于U-Net的高分辨率遙感圖像語義分割方法”把訓練集中的每幅原始圖像和標簽截取成5幅子圖，然后對圖像塊做了翻轉(水平、左右和沿對角線)，色彩調整(亮度、對比度、飽和度)，以及加噪處理進行數據增強。然而上述采用的旋轉、水平和翻轉等操作對數據增強效果有限，在數量級上，僅靠旋轉、水平和翻轉獲得的訓練樣本擴充效果并不明顯，在需要大量訓練樣本的情況下仍然需要更多的基礎圖像。其次各個訓練樣本之間缺乏關聯性，無法準確的表達各個訓練樣本之間的上下文關系，在語義分割過程中無法準確的對混合像元進行類別劃分，訓練出來的網絡并不能很好的擬合該訓練集的抽象特征。

發明內容

為解決訓練集較少時，訓練樣本缺乏上下文聯系，訓練出來的網絡模型無法很好地擬合該訓練集的抽象特征的問題，本發明提供了一種面向像元語義分割的深度學習訓練樣本增強方法。

本發明采用以下的技術方案：

一種面向遙感影像語義分割的深度學習訓練樣本增強方法，包括以下步驟：

步驟1：獲得目標區域的高分辨率衛星遙感影像，對衛星遙感影像進行預處理，獲得預處理后的圖像，預處理包括輻射定標和大氣校正，通過目視解譯法對預處理后的圖像進行人工標記再將其轉為柵格圖像作為標記圖像；

步驟2：選取訓練模型輸入層的維度大小作為裁剪窗口，計算出水平方向的裁剪窗口的最佳重疊度，然后在水平方向上以水平方向的裁剪窗口的最佳重疊度且垂直方向上以裁剪窗口不重疊的方式對預處理后的圖像和標記圖像分別進行水平方向的滑動裁剪，得到若干第一切片；

步驟3：計算出垂直方向的裁剪窗口的最佳重疊度，然后在垂直方向上以垂直方向的裁剪窗口的最佳重疊度且水平方向上以裁剪窗口不重疊的方式對預處理后的圖像和標記圖像分別進行垂直方向的滑動裁剪，得到若干第二切片；

步驟4：利用步驟2得到的水平方向的裁剪窗口的最佳重疊度和步驟3得到的垂直方向的裁剪窗口的最佳重疊度，在水平方向上以水平方向的裁剪窗口的最佳重疊度且垂直方向上以垂直方向的裁剪窗口的最佳重疊度對預處理后的圖像和標記圖像分別進行滑動裁剪，得到若干第三切片；