[發明專利]基于卷積神經網絡和Transformer的河湖遙感圖像分割方法及系統

有效

• 申請號: 202110500108.7
• 申請日: 2021-05-08
• 公開（公告）號: CN113191285B
• 公開（公告）日: 2023-01-20
• 發明（設計）人: 楊公平;劉一錕;孫啟玉;鄧青;李紅超;郭偉
• 申請（專利權）人: 山東大學;山東鋒士信息技術有限公司
• 主分類號: G06V20/13
• 分類號: G06V20/13;G06V10/28;G06V10/44;G06V10/764;G06N3/0464;G06N3/047;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 閆偉姣

本發明公開一種基于卷積神經網絡和Transformer的河湖遙感圖像分割方法及系統，包括：獲取包含類別標簽的河湖遙感圖像，構建訓練集；對訓練集采用卷積神經網絡進行多層特征圖的提??；對提取的最后一層特征圖采用Transformer的編碼器提取注意力特征，對注意力特征采用Transformer的解碼器得到自注意力特征圖；對自注意力特征圖與第一層特征圖進行拼接后訓練圖像分割模型；基于訓練后的圖像分割模型得到待測河湖遙感圖像中目標的類別分割結果。將Transformer引入到遙感圖像分割領域，用自注意力機制代替卷積操作，擴大運算時的感受野面積，由于沒有下采樣和上采樣操作，不會造成圖像尺度的變化，解決目標丟失問題，克服現有深度學習分割方法在遙感圖像分割領域的不足。

技術領域

本發明涉及卷積神經網絡和遙感圖像技術領域，特別是涉及一種基于卷積神經網絡和Transformer的河湖遙感圖像分割方法及系統。

背景技術

本部分的陳述僅僅是提供了與本發明相關的背景技術信息，不必然構成在先技術。

河湖“四亂”是指河湖周邊的“亂建、亂占、亂采、亂堆”現象，隨著經濟的發展，城鎮化進程不斷加快，河湖“四亂”問題在很多城市的河湖周邊區域屢禁不止，嚴重影響了城市河湖的生態環境和附近居民的生活質量。河湖“四亂”的整治已經成為城市河湖監管工作的主要內容。

目前，基于高分辨率遙感影像的違章提取方法主要依靠人工目視解譯，工作量較大，耗時耗力，難以滿足河湖違章信息的快速提取，影響河湖監管和評估工作的及時性和高效性。隨著國家高分辨率對地觀測系統的持續推進和衛星遙感技術的發展，衛星遙感數據日益豐富，可以充分滿足深度學習對數據量的需求。

目前已有的用于河湖“四亂”監測的方法都是基于卷積神經網絡的語義分割方法，對遙感圖像進行多次下采樣和上采樣后，利用多個卷積層進行預測。由于遙感數據一般是由衛星或無人機采集得到的，而河湖周邊的“四亂”現象一般覆蓋面積不大，經過多次下采樣后可能會造成目標的丟失，從而影響分割的精度，所以在不影響分割精度、避免目標丟失的前提下，從遙感圖像中識別出小面積的河湖“四亂”現象是一個極具挑戰性的問題。

發明內容

為了解決上述問題，本發明提出了一種基于卷積神經網絡和Transformer的河湖遙感圖像分割方法及系統，將Transformer引入到遙感圖像分割領域，用自注意力機制代替卷積操作，擴大運算時的感受野面積，由于沒有下采樣和上采樣操作，不會造成圖像尺度的變化，解決目標丟失問題，克服現有深度學習分割方法在遙感圖像分割領域的不足。

為了實現上述目的，本發明采用如下技術方案：

第一方面，本發明提供一種基于卷積神經網絡和Transformer的河湖遙感圖像分割方法，包括：

獲取包含類別標簽的河湖遙感圖像，構建訓練集；

對訓練集采用卷積神經網絡進行多層特征圖的提取；

對提取的最后一層特征圖采用Transformer編碼器提取注意力特征，對注意力特征采用Transformer解碼器得到自注意力特征圖；

對自注意力特征圖與第一層特征圖進行拼接后訓練圖像分割模型；

基于訓練后的圖像分割模型得到待測河湖遙感圖像中目標的類別分割結果。

第二方面，本發明提供一種基于卷積神經網絡和Transformer的河湖遙感圖像分割系統，包括：

數據獲取模塊，被配置為獲取包含類別標簽的河湖遙感圖像，構建訓練集；

特征圖提取模塊，被配置為對訓練集采用卷積神經網絡進行多層特征圖的提取；