[發明專利]綜合區域連通和共生知識約束的遙感影像深度語義分割方法

有效

• 申請號: 202110011549.0
• 申請日: 2021-01-06
• 公開（公告）號: CN112767413B
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 李彥勝;歐陽松;張永軍;史特
• 申請（專利權）人: 武漢大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06K9/62;G06T7/187;G06T5/00;G06V10/764
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 王琪

本發明公開了一種綜合區域連通和共生知識約束的遙感影像深度語義分割方法。該方法在深度語義分割網絡的損失函數項中加入基于區域連通的目標整體性約束和基于空間共生知識的目標空間分布約束，網絡通過優化加入約束的綜合損失函數項來調整網絡模型，從而自主學習目標級特征表示和利用空間共生知識自動優化分割目標的空間分布。本發明創新性地提出了綜合區域連通約束和空間共生知識約束的遙感影像深度語義分割方法，首次在語義分割領域實現對目標整體的約束；并通過空間共生條件概率將空間共生知識量化，成功地將非結構化的知識嵌入到數據驅動的深度語義分割網絡中，有效改善深度語義分割網絡的分割精度和分割結果。

技術領域

本發明屬于遙感影像解譯與人工智能的交叉領域，涉及一種綜合區域連通和共生知識約束的深度語義分割方法，具體包含一種聯合基于區域連通的目標整體性約束和基于空間共生知識的目標空間分布約束的遙感影像深度語義分割方法。

背景技術

視覺是人類獲取信息的重要途徑，時刻提供給人們對周圍環境的感知信息，包括目標輪廓、位置、空間關系等語義信息。得益于計算機技術和機器觀測技術的發展，計算機視覺已成為了自動識別現實世界的主要技術手段，賦予了機器智能感知的能力。作為計算機視覺三大任務之一，語義分割通過指定每個像素的類別來完成對圖像的像素級描述，廣泛地應用于自然影像處理、醫學影像分析，遙感影像解譯等領域，具有巨大的應用價值。圖像是復雜的數據，包含了豐富的顏色特征、紋理特征、形狀特征和空間關系語義信息，在語義分割過程中需要綜合考慮這些信息才能取得好的分割結果。相比于自然影像，遙感影像的“同譜異物、同物異譜”現象顯著，這給語義分割帶來了巨大的挑戰。

傳統的圖像語義分割方法包括最大似然法(MLE)、隨機森林(RF)、決策樹(DT)和支持向量機(SVM)等基于淺層特征判別的監督分類方法。這類方法一般根據人工設計的特征描述子從圖像中提取得到的光譜、紋理和幾何結構特征進行分類。傳統的分割方法高度依賴于人工設計特征，難以跨越底層圖像數據與高層邏輯信息的語義鴻溝，其魯棒性和精度較差。隨著人工智能理論與技術的快速發展，深度學習方法廣泛地運用到了圖像解譯中，在圖像語義分割任務中取得了突破性的進展。基于深度學習的語義分割方法包括全卷積網絡(FCN)、U型網絡(U-Net)、金字塔場景解析網絡(PSPNet)、掩模區域卷積網絡(Mask R-CNN)和深度分割網絡(DeepLab)等深度語義分割網絡方法。深度語義分割網絡通過端到端的學習機制完成對特征提取與分類一體化模型的自動學習，從而自適應地完成分割工作，使得分割的準確度大幅提高、分割的過程也更加智能化。然而，深度語義分割網絡是大數據驅動的像素級別的分類方法，通過聚合像素信息來提取特征和減低每個像素上的損失來反向優化網絡模型。由于缺乏目標級別的學習，無法有效提取出目標形狀特征，導致分割結果邊界模糊、缺乏整體性、隨機噪聲分布現象明顯。同時受制于數據驅動方法的缺陷，往往難以利用目標間豐富的語義信息(如空間關系)和地學先驗知識。以上兩點嚴重制約了深度語義分割網絡性能的提升，亟需在分割過程中綜合考慮目標級別的整體性約束以及目標間的空間語義信息和地學先驗知識。

發明內容

本發明主要是解決現有技術在遙感影像語義分割過程中由目標級別學習的缺乏、空間關系和地學先驗知識利用不足所導致的分割結果整體性差和精度低等問題，提供了一種綜合區域連通和空間共生知識約束的遙感影像深度語義分割方法，可以有效地提高遙感影像語義分割結果的準確性和可靠性。