[發(fā)明專利]一種融合遙感圖像與點(diǎn)云數(shù)據(jù)的地理要素識別方法

有效

• 申請?zhí)枺?/td>: 202310539805.2
• 申請日: 2023-05-15
• 公開（公告）號: CN116258970B
• 公開（公告）日: 2023-08-08
• 發(fā)明（設(shè)計(jì)）人: 趙薛強(qiáng);陳洋波;劉俊;孫懷張
• 申請（專利權(quán)）人: 中山大學(xué)
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V20/70;G06V10/80;G06V10/26;G06N3/0464;G06N3/0455;G06N3/08
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 高棋

本發(fā)明提供一種融合遙感圖像與點(diǎn)云數(shù)據(jù)的地理要素識別方法，涉及圖像數(shù)據(jù)處理的技術(shù)領(lǐng)域，首先采集圖像數(shù)據(jù)和點(diǎn)云數(shù)據(jù)并進(jìn)行類別標(biāo)注，構(gòu)建為樣本數(shù)據(jù)集，再構(gòu)建融合圖像與點(diǎn)云數(shù)據(jù)的語義分割模型，提取圖像數(shù)據(jù)的2D特征和點(diǎn)云數(shù)據(jù)的3D特征并融合得到圖像和點(diǎn)云的分割預(yù)測值，利用樣本數(shù)據(jù)集訓(xùn)練融合圖像與點(diǎn)云數(shù)據(jù)的語義分割模型，最后將待識別遙感圖像、待識別遙感圖像對應(yīng)的點(diǎn)云數(shù)據(jù)輸入訓(xùn)練好的融合圖像與點(diǎn)云數(shù)據(jù)的語義分割模型，輸出圖像分割結(jié)果和點(diǎn)云分割結(jié)果，利用不同的色彩對不同類別的點(diǎn)云分割結(jié)果進(jìn)行標(biāo)記，實(shí)現(xiàn)地理要素的識別，充分利用了2D圖像信息的有序性以及3D點(diǎn)云數(shù)據(jù)的空間性，提高了地理要素的分割識別精度。

技術(shù)領(lǐng)域

本發(fā)明涉及地理圖像信息處理的技術(shù)領(lǐng)域，更具體地，涉及一種融合遙感圖像與點(diǎn)云數(shù)據(jù)的地理要素識別方法。

背景技術(shù)

隨著遙感技術(shù)、深度學(xué)習(xí)技術(shù)的快速發(fā)展，對地理要素的智能識別一般采用圖像的語義分割算法，利用圖像分割算法提取圖像中的語義信息，對不同的地理要素進(jìn)行標(biāo)記分類，達(dá)到識別的目的。但由于圖像數(shù)據(jù)缺少3D空間信息，基于圖像的語義分割算法，在地理要素識別中無法識別地理要素的高度、坡度等空間信息，導(dǎo)致地理要素分割不完整。

隨著遙感技術(shù)、深度學(xué)習(xí)技術(shù)的快速發(fā)展，為獲得空間距離信息，可采用激光雷達(dá)掃描地形地貌，獲得3D點(diǎn)云數(shù)據(jù)，對3D點(diǎn)云數(shù)據(jù)采用分割算法實(shí)現(xiàn)地理要素的識別，常用的點(diǎn)云分割算法有PointNet、PointNet++、PointTransformer等算法。使用點(diǎn)云數(shù)據(jù)的分割算法能夠較好地區(qū)分地形高低、坡度，獲得豐富的3D空間信息，但3D點(diǎn)云數(shù)據(jù)是無序的，缺少空間上的聯(lián)系，使得分割算法收斂困難，分割精度較低。

現(xiàn)有技術(shù)公開了一種地圖要素生成方法，結(jié)合了圖像數(shù)據(jù)與視覺三維重建技術(shù)，通過圖像獲得地圖要素的形狀點(diǎn)的坐標(biāo)，再通過視覺三維重建得到形狀點(diǎn)的初始地理坐標(biāo)，最后通過激光點(diǎn)擬合函數(shù)表達(dá)式，確定地圖要素的位置點(diǎn)地理坐標(biāo)。然而，該方案雖然結(jié)合了圖像數(shù)據(jù)和三維重建技術(shù)，但無法充分融合2D圖像信息的有序性以及3D信息的空間性的優(yōu)勢，識別精度較低。

發(fā)明內(nèi)容

為解決當(dāng)前地理要素識別方法無法充分利用2D圖像信息的有序性以及3D點(diǎn)云數(shù)據(jù)的空間性，導(dǎo)致地理要素的分割識別精度較低的問題，本發(fā)明提供一種融合遙感圖像與點(diǎn)云數(shù)據(jù)的地理要素識別方法，利用二維圖像的有序性和三維點(diǎn)云的空間性，訓(xùn)練階段通過投影方法將三維點(diǎn)云投影到對應(yīng)的二維圖像中，進(jìn)行知識蒸餾學(xué)習(xí)，采用了多數(shù)據(jù)源融合的方式，提高了地理要素的分割識別精度。

為了達(dá)到上述技術(shù)效果，本發(fā)明的技術(shù)方案如下：

一種融合遙感圖像與點(diǎn)云數(shù)據(jù)的地理要素識別方法，包括：

S1.采集圖像數(shù)據(jù)和點(diǎn)云數(shù)據(jù)，對圖像數(shù)據(jù)和點(diǎn)云數(shù)據(jù)分別進(jìn)行類別標(biāo)注，分別作為圖像數(shù)據(jù)和點(diǎn)云數(shù)據(jù)的真實(shí)標(biāo)簽，將帶有類別標(biāo)注的圖像數(shù)據(jù)和點(diǎn)云數(shù)據(jù)構(gòu)建為樣本數(shù)據(jù)集，將樣本數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集、測試集；

S2.構(gòu)建融合圖像與點(diǎn)云數(shù)據(jù)的語義分割模型，融合圖像與點(diǎn)云數(shù)據(jù)的語義分割模型包括用于提取圖像數(shù)據(jù)的2D特征的2D分支2D?Branch、用于提取點(diǎn)云數(shù)據(jù)的3D特征的3D分支3D?Branch及融合結(jié)構(gòu)Feature?Fusion，2D分支2D?Branch的輸出端及3D分支3DBranch的輸出端均連接融合結(jié)構(gòu)Feature?Fusion，融合結(jié)構(gòu)Feature?Fusion將2D特征和3D特征融合，利用2D特征優(yōu)化3D特征，得到圖像分割預(yù)測值和點(diǎn)云分割預(yù)測值；

S3.利用訓(xùn)練集對融合圖像與點(diǎn)云數(shù)據(jù)的語義分割模型進(jìn)行訓(xùn)練，訓(xùn)練過程中分別計(jì)算圖像分割預(yù)測值和點(diǎn)云分割預(yù)測值與真實(shí)標(biāo)簽圖之間的損失值，根據(jù)損失值調(diào)整融合圖像與點(diǎn)云數(shù)據(jù)的語義分割模型的參數(shù)，直到融合圖像與點(diǎn)云數(shù)據(jù)的語義分割模型收斂，然后利用驗(yàn)證集對訓(xùn)練過程中的融合圖像與點(diǎn)云數(shù)據(jù)的語義分割模型進(jìn)行評估，得出訓(xùn)練好的融合圖像與點(diǎn)云數(shù)據(jù)的語義分割模型，并利用測試集測試融合圖像與點(diǎn)云數(shù)據(jù)的語義分割模型的預(yù)測準(zhǔn)確度；