[發明專利]基于自監督對比學習的遙感圖像語義分割方法

有效

• 申請號: 202110285256.1
• 申請日: 2021-03-17
• 公開（公告）號: CN113011427B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 李海峰;李益;李朋龍;丁憶;馬澤忠;張澤烈;胡艷;肖禾;陶超
• 申請（專利權）人: 中南大學;重慶市地理信息和遙感應用中心
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/44;G06V10/75;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 長沙大珂知識產權代理事務所(普通合伙) 43236
• 代理人: 王瓊琦

本發明公開了基于自監督對比學習的遙感圖像語義分割方法，包括以下步驟：構建語義分割網絡模型(如Deeplab v3+)；采用無標注數據對所述網絡模型的編碼器進行預訓練；預訓練完成后，在標注樣本上對所述網絡模型進行有監督語義分割訓練；采用有監督語義分割訓練完成的網絡模型對遙感圖像進行語義分割；在預訓練的過程中，采用全局風格對比和局部匹配對比結合的方式進行對比學習。本發明將對比自監督學習應用于到了遙感語義分割數據集，提出了全局風格和局部匹配對比學習框架，形成了基于自監督對比學習的遙感圖像語義分割方法，使得語義分割方法的適用面更廣，分割效果更好。

技術領域

本發明涉及遙感影像語義分割技術領域，尤其涉及基于自監督對比學習的遙感圖像語義分割方法。

背景技術

隨著遙感技術的發展，高分遙感影像的獲取越來越容易，遙感影像在城市規劃、災害監測、環境保護、交通旅游等方面有著越來越廣泛的應用。對遙感影像中的信息的提取與識別通常是一切應用的基礎，而語義分割就是對全圖像素進行識別分類的技術，所以一直以來都是遙感領域很重要且極具挑戰性的一個研究方向。

近年來借助深度學習技術的發展，遙感影像語義分割取得了令人印象深刻的成果，并被越來越廣泛的應用于全球地表覆蓋，城市建成區識別等方面。然而，現有的深度學習技術的成功嚴重依賴于大量高質量的標注樣本，但是由于語義分割任務標注成本的高昂以及遙感影像在時間上和空間上存在巨大的異質性，所以現有的標注數據其實只是遙感影像的一個截斷面，無法滿足樣本的多樣性和豐富性的需求。

針對標注樣本不足的問題，常見的方法是進行數據增強以生成更多樣本，這一定程度上提高了模型的魯棒性，在一般的訓練過程中都會用到，然而效果有限；另外一些研究試圖利用其它標注數據，如預訓練或遷移學習，即將在其他更大的或與當前任務更相關的數據集上訓練好的模型參數遷移到現有任務中來代替隨機初始化，這樣可以大大減少訓練時間，也可一定程度上彌補數據不足的缺陷，然而遷移學習本質上還是局部到局部的過程，如果不同域之間差異性過大，還可能存在負遷移的情況。

事實上，雖然大量標簽不可得，但覆蓋全球，具有極高多樣性和豐富性的影像數據是唾手可得的，所以如何完全、有效的利用這些數據是關鍵，一種方式半監督學習，即將大量無標簽數據與少量標注數據一起訓練，近年來主流的方法是基于自訓練的思想，然而半監督學習與特定的任務高度相關，無法獲得通用的模型，而且影像中蘊含的信息遠比稀疏的標簽更為豐富，但以上基于監督學習的方式都沒法充分的影像數據，只能學習到面向特定任務的知識。而自監督學習提供了一種新的范式，它不依賴于任何標注數據，是直接使用影像數據本身來設計自監督信號來指導學習，因此能夠很好的避免上述監督范式存在的問題，有望學習到潛在的更通用的知識，然后將其轉移到具體下游任務中。

根據設計的自監督信號的不同，目前的自監督學習大體可以分為三大類：基于上下文、基于時序、基于對比。而最近的一些工作表明，基于對比學習的方法能獲得更優的性能。參考文獻：Chen T,Kornblith S,Norouzi M,et al.A Simple Framework forContrastive Learning of Visual Representations[J].2020。對比學習是通過學習兩個事物的相似或不相似來構建表征，其核心思想是與正樣本間的特征表達應該是相似的，而與負樣本間的特征表達是不相似的。基于對比學習的方法能獲得更優的性能，其直覺是，同一圖像的不同變換的表征應該是相似的，而與不同圖像的表征是不相似的，以此來訓練一個合適的網絡。

然而現有的對比學習大多是實例級的對比，即對整張圖提取一個全局的特征，然后對這種整體的特征進行區分。這在自然圖像分類數據集上顯示出了良好的性能，但實際裁剪的遙感影像單張圖像中的地物分布可能比較豐富，不像自然圖像分類數據集那樣單張圖像上類別較為純凈或具有某個很突出的類別，此時如果仍然像原有的實例級對比學習方法那樣只對整張圖提取全局特征進行區分就會損失掉很多信息，同時考慮到語義分割任務和分類任務本身存在差異，對于分類來說我們只需要進行圖像級區分，而語義分割任務是像素級的分類，它還需要區分同一圖像中的不同局部。

發明內容