[發明專利]基于多尺度卷積神經網絡的語義分割方法

有效

• 申請號: 201711391395.2
• 申請日: 2017-12-18
• 公開（公告）號: CN108230329B
• 公開（公告）日: 2021-09-21
• 發明（設計）人: 孫穎;張新長;趙小陽
• 申請（專利權）人: 孫穎;張新長;趙小陽
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06K9/62;G06N3/04
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

本發明實施例公開了一種基于多尺度卷積神經網絡的語義分割方法，其包括：獲取高分辨率航空影像和LiDAR點云數據中的模態內特征；基于多尺度卷積神經網絡進行模態間特征提取和分類；采用多尺度分割方法提取地物邊界，消除椒鹽效應并優化分類結果。實施本發明實例，將多尺度CNN與多尺度分割(MRS)后處理相結合的方法，用于高分辨率航空影像和LiDAR點云數據的語義分割。

技術領域

本發明涉及計算機技術領域，尤其涉及一種基于多尺度卷積神經網絡的語義分割方法。

背景技術

深度學習是機器學習研究中一個新的領域，其目的在于建立模擬人腦進行分析學習的神經網絡，它模仿人腦的機制來解釋數據，例如圖像、聲音和文本。這一概念源于人工神經網絡的研究，可以理解為neural network的發展，其實質是通過構建具有多個隱層的機器學習模型和海量的訓練數據來學習更有用的特征，從而提升分類或預測的準確性。常用的深度學習模型有卷積神經網絡(CNN)、深度置信網絡(DBNs)等。

卷積神經網絡是人工神經網絡的一種，已成為當前語音分析和圖像識別領域的研究熱點。它的權值共享網絡結構使之更類似于生物神經網絡，降低了網絡模型的復雜度，減少了權值的數量。該優點在網絡的輸入是多維圖像時表現的更為明顯：圖像可以直接作為網絡的輸入，避免了傳統識別算法中復雜的特征提取和數據重建過程。卷積網絡是為識別二維圖像而設計的一個多層感知器，這種網絡結構對圖像平移、比例縮放、傾斜或者其他形式的變形具有高度不變性。

目前，深度學習如卷積神經網絡(CNN)受到廣泛關注，并開始應用于遙感影像的語義標記中。CNN能夠以模態間的方式融合高分辨率遙感影像和LiDAR點云數據，提取出優于手工特征的高層次特征。然而，固定尺度的CNN常常限制了感受野范圍，不利于特征提取。與固定尺度的CNN不同，多尺度的CNN綜合考慮使用多個尺度來提取高分辨率遙感影像分類所需的不同信息。多尺度的CNN有三種類型：(1)使用斑塊大小不同、分辨率相同的輸入圖像的方法；(2)使用同一地理區域、不同分辨率的輸入圖像的方法；(3)使用不同核尺度的CNN的方法。對于前兩種方法，因輸入圖像與相應的標記圖像具有不同的分辨率，故不能直接輸入CNN結構中，需要準備不同的輸入數據。第三種方法則是分別訓練具有不同核尺寸的多尺度CNN用于分類，并將三個CNN的損失平均作為誤差傳播。

多尺度卷積神經網絡雖然避免了固定尺度CNN在感受野上有限制的問題，能在多個尺度上提取特征，有利于提高圖像分類精度，但仍有以下不足需要改進：

1)損失平均會引入由單核CNN產生的誤差，從而給權重更新造成影響；

2)現有的多尺度CNN僅利用了基于CNN提取的模態間特征，而精確推測的模態內結構特征往往有助于精準地挖掘更高層次的特征。

3)雖然編碼-解碼器CNN架構能將從池化層導出的低分辨率特征上采樣到輸入分辨率，但因為上采樣層重建的是物體的外觀而不是形狀，導致上采樣后的物體邊界變得模糊且不可逆。另外，CNN通常使用圖塊進行分類，但位于圖塊邊緣附近的像素缺乏上下文信息，因此在鑲嵌圖像時圖塊邊緣附近會產生椒鹽效應。

機載激光雷達(LiDAR，Light Detection And Ranging)系統通過發射和接收激光脈沖能直接快速得到地表密集的高精度三維點坐標被稱為機載LiDAR點云數據。LiDAR點云數據和高分辨率航空影像的語義分割是遙感領域最具挑戰性的課題之一。深度卷積神經網絡在遙感基于像元分類上顯現出一定的應用前景。但現有的LiDAR點云數據和高分辨率航空影像融合方法大都為模態內特征的松散融合，忽略了模態間的統計特征。此外，卷積神經網絡(CNN)以圖塊作為輸入數據，在圖塊邊緣處的像元均容易產生椒鹽效應，導致不確定的標記結果。

發明內容

本發明的目的在于克服現有技術的不足，本發明將多尺度CNN與多尺度分割(MRS)后處理相結合的方法，用于高分辨率航空影像和LiDAR點云數據的語義分割。