[發(fā)明專利]基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的語義分割方法

有效

• 申請?zhí)枺?/td>: 201711391395.2
• 申請日: 2017-12-18
• 公開（公告）號: CN108230329B
• 公開（公告）日: 2021-09-21
• 發(fā)明（設(shè)計）人: 孫穎;張新長;趙小陽
• 申請（專利權(quán)）人: 孫穎;張新長;趙小陽
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06K9/62;G06N3/04
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;熊永強(qiáng)

1.一種基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的語義分割方法，其特征在于，包括如下步驟：

獲取高分辨率航空影像和LiDAR點(diǎn)云數(shù)據(jù)中的模態(tài)內(nèi)特征；

基于多尺度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行模態(tài)間特征提取和分類；

采用多尺度分割方法提取地物邊界，多尺度分割MRS提取的地物邊界作為卷積神經(jīng)網(wǎng)絡(luò)CNN分類結(jié)果的補(bǔ)充，消除椒鹽效應(yīng)并優(yōu)化分類結(jié)果；

所述高分辨率航空影像和LiDAR點(diǎn)云數(shù)據(jù)中的LiDAR點(diǎn)云數(shù)據(jù)包括柵格化的數(shù)字表面模型和歸一化地表模型，高分辨率航空影像包括紅、綠、藍(lán)、近紅外4個波段；所述獲取高分辨率航空影像和LiDAR點(diǎn)云數(shù)據(jù)中的模態(tài)內(nèi)特征包括：

將地面點(diǎn)與非地面點(diǎn)分離；通過反向距離權(quán)重插值法提取數(shù)字高程模型和數(shù)字表面模型，并獲取歸一化數(shù)字表面模型；

據(jù)標(biāo)準(zhǔn)距離、測量強(qiáng)度、傳感器與地表的測量距離來提取歸一化強(qiáng)度，并對LiDAR點(diǎn)云數(shù)據(jù)的強(qiáng)度數(shù)據(jù)進(jìn)行歸一化；

將點(diǎn)云強(qiáng)度和回波次數(shù)柵格化；

采用高斯差分來生成地物邊界，所述高斯差分基于兩種不同的高斯內(nèi)核執(zhí)行邊緣檢測；所述基于多尺度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行模態(tài)間特征提取和分類包括：

采用自動或半自動圖像標(biāo)記方法，根據(jù)數(shù)據(jù)集所覆蓋區(qū)域的地物分布特點(diǎn)，將地物類別進(jìn)行標(biāo)記；將標(biāo)記好的圖像以及原圖裁剪成300×300的圖塊，預(yù)留一定比例的圖塊作為驗證樣本，余下的作為訓(xùn)練樣本對深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；基于多尺度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，并將所有特征導(dǎo)入分類器中進(jìn)行分類；將歸一化地表模型NDSM、高斯差分DoG兩種模態(tài)內(nèi)特征、LiDAR點(diǎn)云數(shù)據(jù)和源圖像進(jìn)行疊加，然后使用多尺度CNN提取模態(tài)間特征。

2.如權(quán)利要求1所述的基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的語義分割方法，其特征在于，所述卷積神經(jīng)網(wǎng)絡(luò)具有卷積-反卷積結(jié)構(gòu)，其中：反卷積處理是對卷積階段中由池化層下采樣后提取的輸入特征圖進(jìn)行上采樣，每個反卷積結(jié)構(gòu)由上采樣層，卷積層和批歸一化處理層組成。

3.如權(quán)利要求2所述的基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的語義分割方法，其特征在于，所述多尺度卷積神經(jīng)網(wǎng)絡(luò)由三種不同尺度的濾波器并行構(gòu)成，包括3×3，5×5和7×7。

4.如權(quán)利要求3所述的基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的語義分割方法，其特征在于，所述多尺度卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)由一個具有五層的卷積部分和所對應(yīng)的反卷積部分構(gòu)成，每個卷積層由一個具有64個輸出特征的卷積層，一個BN層，一個ReLU層和一個最大池化層組成，所對應(yīng)的反卷積部分由一個上采樣層，一個卷積層和一個BN層構(gòu)成。

5.如權(quán)利要求1至4任一項所述的基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的語義分割方法，其特征在于，所述采用多尺度分割方法提取地物邊界，消除椒鹽效應(yīng)并優(yōu)化分類結(jié)果包括：

將圖像分割成一個個小對象，然后根據(jù)尺度，形狀和緊湊性的參數(shù)將彼此相鄰的同質(zhì)對象合并成較大的對象；

使用多尺度分割方法的分割結(jié)果對多尺度濾波卷積神經(jīng)網(wǎng)絡(luò)的分類結(jié)果進(jìn)行后處理以消除分類噪聲。