[發明專利]一種無監督域自適應語義分割方法及系統

在審

• 申請號: 202211344317.8
• 申請日: 2022-10-31
• 公開（公告）號: CN115631337A
• 公開（公告）日: 2023-01-20
• 發明（設計）人: 馮雨婷;周順平;李圣文;鄭道遠;方芳;劉袁緣;萬波
• 申請（專利權）人: 中國地質大學（武漢）
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/40;G06V10/80;G06V20/13
• 代理公司: 武漢知產時代知識產權代理有限公司 42238
• 代理人: 吳曉茜

1.一種無監督域自適應語義分割方法，其特征在于，包括：

S1：獲取源域和目標域的遙感影像數據集，對源域和目標域的遙感影像數據集進行裁剪，獲得DSM圖像、遙感影像和語義標簽圖像；

S2：構建語義分割模型，語義分割模型包括：多路徑編碼器和多任務解碼器，將DSM圖像和遙感影像輸入多路徑編碼器，獲得DSM圖像的最終特征圖和遙感影像的最終特征圖；

S3：將DSM圖像的最終特征圖和遙感影像的最終特征圖輸入多任務解碼器，生成源域的分割結果和目標域的分割結果；

S4：通過源域的分割結果和語義標簽圖像計算獲得分割損失，通過分割損失對語義分割模型進行更新，獲得第一更新語義分割模型；

S5：構建鑒別模型，將源域的分割結果和目標域的分割結果輸入鑒別模型，計算獲得對抗損失和鑒別損失，通過對抗損失對第一更新語義分割模型進行更新，獲得第二更新語義分割模型，通過鑒別損失對鑒別模型進行更新，獲得第一更新鑒別模型；

S6：通過第二更新語義分割模型和第一更新鑒別模型構建整體模型，對整體模型進行訓練，獲得訓練好的整體模型，將目標域的遙感影像數據集輸入訓練好的第二更新語義分割模型獲得最終分割結果，對最終分割結果進行精細后融合處理操作，獲得最終語義分割預測圖。

2.根據權利要求1所述的無監督域自適應語義分割方法，其特征在于，步驟S2具體為：

S21：將DSM圖像輸入多路徑編碼器的DSM特征提取器中，輸出第n個階段的DSM圖像的特征圖將遙感影像輸入多路徑編碼器的遙感影像特征提取器中，輸出第n個階段的遙感影像的特征圖其中n為階段編號，1≤n≤5；

S22：將第n個階段的DSM圖像的特征圖和第n個階段的遙感影像的特征圖輸入至多路徑編碼器的注意力感知融合塊，獲得融合特征

S23：將融合特征與第n個階段的DSM圖像的特征圖加權相加，相加的結果作為特征提取器的第n+1個階段的DSM圖像輸入；第n個階段的遙感影像的特征圖作為特征提取器的第n+1個階段的遙感影像輸入；

S24：將第5個階段的加權后的DSM圖像的特征圖作為DSM圖像的最終特征圖，將第5個階段的遙感影像的特征圖作為遙感影像的最終特征圖。

3.根據權利要求1所述的無監督域自適應語義分割方法，其特征在于，步驟S3具體為：

S31：將DSM圖像的最終特征圖輸入多任務解碼器的注意力感知過濾塊中，獲得源域的DSM圖像分割結果和目標域的DSM圖像分割結果；將遙感影像的最終特征圖輸入多任務解碼器的ASPP中，獲得源域的遙感影像分割結果和目標域的遙感影像分割結果；

S32：將源域的DSM圖像分割結果和源域的遙感影像分割結果輸入自適應門控融合塊，獲得源域的融合分割結果；將目標域的DSM圖像分割結果和目標域的遙感影像分割結果輸入自適應門控融合塊，獲得目標域的融合分割結果；

S33：由源域的DSM圖像分割結果、源域的遙感影像分割結果和源域的融合分割結果組成源域的分割結果；由目標域的DSM圖像分割結果、目標域的遙感影像分割結果和目標域的融合分割結果組成目標域的分割結果。

4.根據權利要求1所述的無監督域自適應語義分割方法，其特征在于，步驟S4具體為：

將源域的DSM圖像分割結果、源域的遙感影像分割結果、源域的融合分割結果和語義標簽圖像利用標準交叉熵損失計算獲得分割損失，通過分割損失對語義分割模型進行更新，獲得第一更新語義分割模型。

5.根據權利要求1所述的無監督域自適應語義分割方法，其特征在于，步驟S5具體為：

S51：將源域的遙感影像分割結果、目標域的遙感影像分割結果、源域的融合分割結果和目標域的融合分割結果輸入到鑒別模型中，獲得源域鑒別輸出和目標域鑒別輸出；設置域標簽Z，定義Z＝1是源域標簽，Z＝0是目標域標簽；

S52：通過目標域鑒別輸出和域標簽Z計算對抗損失，通過對抗損失對第一更新語義分割模型進行更新，獲得第二更新語義分割模型；

S53：通過源域鑒別輸出和目標域鑒別輸出計算鑒別損失，通過鑒別損失對鑒別模型進行更新，獲得第一更新鑒別模型。