[發(fā)明專利]一種大規(guī)模城市三維場景的語義分割方法

在審

• 申請?zhí)枺?/td>: 201811088727.4
• 申請日: 2018-09-18
• 公開（公告）號: CN109493344A
• 公開（公告）日: 2019-03-19
• 發(fā)明（設(shè)計）人: 汪國平;徐昊文;李勝;蓋孟
• 申請（專利權(quán)）人: 北京大學(xué)
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06K9/62
• 代理公司: 北京君尚知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11200
• 代理人: 司立彬

本發(fā)明公開一種大規(guī)模城市三維場景的語義分割方法，其步驟包括：1)對三維場景模型中的面片進(jìn)行聚類，將該三維場景模型中表面相鄰的若干面片聚成一個超面片，得到若干超面片；2)計算每一所述超面片的幾何屬性，并根據(jù)超面片的幾何屬性設(shè)置該超平面的語義類別；3)使用馬爾可夫隨機(jī)場對步驟2)的語義分類結(jié)果進(jìn)行平滑優(yōu)化，優(yōu)化每一所述超面片的語義類別。本發(fā)明采用了層次聚類的流程對模型做了平面整理，消除模型中近似平面區(qū)域的噪聲，提高網(wǎng)格的質(zhì)量。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機(jī)圖形學(xué)領(lǐng)域，涉及一種大規(guī)模城市三維場景的語義分割方法。

背景技術(shù)

通過三維視覺重建方法得到的三維模型是不包含任何語義信息的，即只利用模型的點面幾何信息和表面紋理信息，計算機(jī)要分辨出模型中的某一部分是現(xiàn)實中的哪一類物體或者物體的哪一個部分是具有較大難度的。另一方面，如果模型被賦予了語義方面的標(biāo)注，那么模型的其他處理算法都會因為語義信息的加入而獲得更理想的結(jié)果。語義分割的目的通常是為了把一個三維場景的模型分割成該場景的若干個部件而每一個部件都具有明確的在現(xiàn)實物理世界的對應(yīng)含義，而且部件彼此之間彼此不重疊，不存在二義性，也就是每個部件一般都具有明確的語義信息。對于大規(guī)模城市場景模型來說，在模型的簡化和去噪處理中，若三維模型的一塊區(qū)域被認(rèn)為是現(xiàn)實世界中的建筑，那么可以認(rèn)為這塊區(qū)域會有若干平面組成，進(jìn)一步地，在簡化和去噪過程中加入平面性的約束就成為一個合理的選擇；在相鄰重建模型拼接的過程當(dāng)中，形態(tài)雜亂無章的樹木枝葉在大多數(shù)情況下不會提供很多明顯特征，相比之下，形狀規(guī)則整齊的建筑、路面等表面上的特征點就可以作為比較理想的為配準(zhǔn)所用的特征點，或者在建立對應(yīng)點時，將語義看作與點云顏色，法向等相類似的信息，也能提高配準(zhǔn)算法的結(jié)果。因此，模型的語義分割在許多方面都是有重要意義的。

針對城市模型語義分割，已有以下的一些相關(guān)工作。通過級聯(lián)一系列非監(jiān)督、基于區(qū)域增長的簡單二分類器得到整體的帶有監(jiān)督的多分類器(Carlberg M,Gao P,Chen G,etal.Classifying urban landscape in aerial LiDAR using 3D shape analysis[C]//Image Processing(ICIP),2009 16th IEEE International Conference on.IEEE,2009:1701-1704.)，把由雷達(dá)采集到的點云數(shù)據(jù)分割成水面、地面、屋頂和樹木幾個類別。用幾種不同的點云描述子計算得到相對高程信息、平面性、曲率等，把輸入點云分為的建筑、地面、樹木以及其他部分(Lafarge F,Mallet C.Building large urban environments fromunstructured point data[C]//ICCV.2011.)。設(shè)計了高度以及局部高度分布、法向分布和一些雷達(dá)信息的幾何特征，并通過支持向量機(jī)(SVM)的機(jī)器學(xué)習(xí)模型完成對點云的分類(Lodha S K,Kreps E J,Helmbold D P,et al.Aerial LiDAR Data ClassificationUsing Support Vector Machines(SVM)[C]//3DPVT.2006:567-574.)。以上的幾個方法進(jìn)行語義分類的對象以點云為主，而文獻(xiàn)(Verdie,Y.,Lafarge,F.,&Alliez,P.(2015).Lodgeneration for urban scenes.ACM Transactions on Graphics,34.)的方法中，該方法在網(wǎng)格模型上同樣提取了高度信息、平面性等信息，使用馬爾可夫隨機(jī)場對模型面片進(jìn)行分類。

上述基于點云的語義分割或者通過稠密點云重建得到的網(wǎng)格進(jìn)行語義分割的方法，由于具有大量的點云頂點或者面片，導(dǎo)致在這樣的模型上進(jìn)行包括語義分類/分割等算法需要很長的運(yùn)行時間。

發(fā)明內(nèi)容