[發明專利]基于視差圖和多尺度深度網絡模型的遙感圖像分割方法

有效

• 申請號: 201910407103.2
• 申請日: 2019-05-16
• 公開（公告）號: CN110163213B
• 公開（公告）日: 2022-12-06
• 發明（設計）人: 焦李成;陳潔;李曉童;張若浛;郭雨薇;李玲玲;屈嶸;楊淑媛;侯彪
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06T7/11;G06T7/55
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 王品華

本發明公開了一種基于視差圖和多尺度深度網絡模型的遙感圖像分割方法，主要解決現有遙感圖像分割方法分割精度較低和魯棒性較弱的問題，其實現方案為：讀入數據集，生成遙感圖像分割的訓練數據集；構建多尺度融合的分割網絡模型；用訓練數據集訓練分割網絡模型，并保存7個不同迭代次數的模型；用保存的分割網絡模型得到7種不同的分割結果圖；對7種不同的分割結果圖進行多數投票，并對對投票后的結果圖進行超像素處理，得到初步分割結果圖；用SGBM算法獲得測試場景的視差圖；用視差圖優化初步分割結果圖，得到最終的分割結果。本發明相比于現有方法明顯地提高了分割精度和魯棒性，可廣泛應用于城鄉規劃、智能城建。

技術領域

本發明屬于圖像處理技術領域，特別涉及一種遙感圖像分割方法，可廣泛應用于城鄉規劃、智能城建。

背景技術

圖像分割是圖像處理的重要內容，其分割結果的質量會對下一步的目標識別、圖像識別、場景解析等工作產生很大影響。隨著遙感技術的不斷發展和商業衛星分辨率的提高，對于遙感圖像分割技術的研究日益受到人們的重視。相比于自然圖像，遙感圖像的拍攝高度更高，導致遙感圖像難以達到自然圖像的分辨率水平，使得應用于自然圖像的分割算法移植到遙感圖像上精度就會大幅度下降，尤其對于小尺寸目標的分割精度更加不理想；此外，遙感圖像獲取的是平面圖，因此遙感圖像不能充分利用物體的深度信息，這樣就給遙感圖像分割帶來更大的挑戰。

雙目立體匹配是圖像處理領域中具有挑戰性的問題之一，其通過模仿人類視覺原理來獲取豐富的三維立體信息，尤其是深度信息。立體匹配的本質就是，采集同一場景左右兩個不同角度的輸入圖像，給定一幅圖像中的一點，尋找另一幅圖像中的對應點，使得這兩點為空間同一物體點的投影，然后，通過雙目或者多目圖像匹配得到視差圖，再根據三角測量關系進一步得到物體的深度信息，經過多年的發展，雙目立體視覺已經在工業測量、三維重建、無人駕駛等領域發揮了巨大作用。

目前遙感圖像分割領域大多是基于目標或對象的區域處理方式。例如，Zhong Z等人在其發表的論文“Spectral–Spatial Residual Network for Hyperspectral ImageClassification:A 3-D Deep Learning Framework”中提出了一種基于卷積神經網絡的遙感圖像分割方法。該方法先利用卷積神經網絡滑窗式提取遙感圖像的局部特征，再利用softmax分類器進行逐像素分類，從而得到分割結果，但是該方法仍然存在的不足之處是，僅使用傳統的卷積網絡自動學習圖像特征，沒有充分利用到遙感圖像的全局信息和多尺度信息，分割精度較低；此外，傳統的分割方法對噪聲的敏感度很高，僅使用傳統卷積神經網絡不能有效去除分割結果中的噪點，并且對于俯拍視角的遙感圖像來說，傳統分割方法不能充分利用地物的三維立體信息，即深度信息，都會導致分割結果的精度下降。

發明內容

本發明的目的在于針對上述現有技術的不足，提出一種基于視差圖和多尺度特征融合的遙感圖像分割方法，以提升對遙感圖像信息的利用效率，提高分割精度。

本發明技術方案是：通過多尺度特征融合的深度分割網絡模型，得到初步的分割結果圖，通過多數投票和超像素方法對初步分割結果圖進行優化，以去除初步分割結果圖內部的縫隙，再利用視差結果圖的信息對分割結果進行修正，得到最終的分割結果圖。其實現步驟包括如下：

(1)讀入由p張圖像組成遙感圖像分割任務的數據集；

(2)生成遙感圖像分割的訓練數據集：

(2a)對數據集進行類別均衡，即針對數據集中數據量最小的類別，將數據集中所有包含此類的圖片挑選出來，并對這些圖片依次進行不同角度的旋轉、鏡像和對比度調整，以增加此類訓練數據的數目；

(2b)對均衡類別后的數據集進行數據擴充，即隨機挑選圖片，并對其進行不同角度的旋轉、鏡向以及調整顏色對比度和光的亮度；