[發明專利]一種面向無人機遙感影像的語義分割方法

在審

• 申請號: 202110508833.9
• 申請日: 2021-05-11
• 公開（公告）號: CN113177956A
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 于揚鴻;車明亮;楊帆;周雨航
• 申請（專利權）人: 南通大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06K9/62;G06N3/04;G06N3/08;G06T5/00;G06T5/40;G06T5/50
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 秦秋星

本發明公開一種面向無人機遙感影像的語義分割方法，首先進行了分塊處理，然后逐塊進行遙感影像語義分割，這降低了方法讀取遙感影像數據的規模，減少了語義分割處理中出現內存溢出的風險。本發明設計并實現了變焦器用于提取不同空間范圍的目標圖像，通過構建特征化的圖像金字塔，保留了目標圖像中最完備的關鍵特征信息，能夠得到最為準確的分類預測值，從而確保像元的高分類精度。本發明在實施中將圖像切片采用多進程、圖像語義分割并行處理方式，用以降低總體運行時間成本。本發明在分類器中使用輕量化的卷積神經網絡，在確保圖像分類精度不降低的情況下，最大程度地降低了模型體量，減少了方法在應用中耗占的內存及磁盤空間。

技術領域

本發明涉及圖像語義分割領域，具體涉及一種面向無人機遙感影像的語義分割方法。

背景技術

圖像語義分割是遙感影像計算機解譯中的重要手段。通過語義分割可以判定影像中的每個像元的類屬，從而生成土地覆蓋/利用分類圖。在現階段的土地利用分類調查中，無人機低空遙感影像數據因使用方便、獲取成本低、空間分辨率高等特點極大提高了工作效率。然而無人機遙感影像相比常規的中、高空遙感(航空、衛星遙感)影像包含了更為復雜的地物目標信息，這使得傳統的分割方法，如支撐向量機分類、神經網絡分類、決策樹分類、專家系統分類等的應用受到了較大限制。在人工智能技術快速發展的背景下，深度學習由于可以從海量圖像數據中直接學習圖像特征表達從而解決了較多的計算機視覺任務，如圖像分類、圖像識別、圖像分割等。這使得深度學習正逐漸成為遙感影像地物分類的新方法。

目前，應用深度學習進行遙感影像分類方法主要基于經典或先進的圖像分割模型。全連接網絡(Fully Convolutional Networks，FCN)是最基礎的圖像分割框架。FCN將卷積神經網絡后面的全連接層全部改為卷積層，以獲取低維到高維特征圖。然后在不同維度特征圖上進行逐像素分類預測，并對其上采樣擴展到原圖像尺寸，最后進行預測結果融合。由于FCN主要利用深層網絡提取特征并分類，因此對小尺寸物體不敏感，且對圖像中的分割細節不精確。U-Net模型是FCN的改進和延伸，它沿用了FCN進行圖像語義分割的思想，即利用卷積層、池化層進行特征提取，再利用反卷積層還原圖像尺寸。U-Net結構采用對稱的壓縮-擴展通道。壓縮通道用于捕獲上下文，逐層提取圖像特征，擴展通道用于精確定位，還原影像的位置信息。實驗證明，U-Net模型在較少訓練樣本下也能取得較為準確的分類結果。然而該模型通常用于二值化語義分割，對多類標簽語義分割需要額外修改模型結構。SegNet模型和FCN類似，也移除了全連接層。SegNet的核心結構包括編碼器網絡、解碼器網絡和逐像素分類層。其中，編碼器部分使用的是VGG-16網絡的前13層卷積層，通過下采樣提取圖像高維特征圖。每個編碼器層都對應一個解碼器層，用于將低分辨率的特征圖進行上采樣以映射到全輸入分辨率特征圖，以進行像素分類。數據驗證顯示，該模型的訓練速度和分割精度都優于FCN模型，但該模型獨立于像素進行分類，沒有考慮像素之間的空間關系，這導致分割的結果具有塊狀效應。為此，DeepLab模型通過在卷積網絡最后層引入全連接條件隨機場(Conditional Random Field，CRF)來恢復目標邊界細節，達到準確定位。基于語義分割，Mask-RCNN的出現提升了分割任務的層次，即處理實例分割。Mask-RCNN沿用了Faster RCNN的思想，特征提取采用ResNet殘差網絡，另外多加了一個Mask預測分支。Mask-RCNN架構仍然采用兩步法策略，首先是找出區域生成網絡(Region Proposal Network，RPN)，然后對RPN找到的每個興趣區進行分類、定位，并計算二值化掩膜。這使得Mask RCNN具有較高的分割精度，同時特征金字塔網絡(Feature Pyramid Network，FPN)策略使該模型能支持多尺度檢測。