[發明專利]基于全局特征學習和局部特征判別聚合的點云分割方法

在審

• 申請號: 202210740591.0
• 申請日: 2022-06-28
• 公開（公告）號: CN115131560A
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 孫海麗;張振鑫;李金城;鐘若飛;鄒建軍;許正文;陸悅;韓玉龍;任曉旭
• 申請（專利權）人: 首都師范大學;上海勃發空間信息技術有限公司
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06N3/04;G06V10/42;G06V10/44;G06V10/74;G06V10/82
• 代理公司: 蘇州科洲知識產權代理事務所(普通合伙) 32435
• 代理人: 周亮

本發明介紹了基于全局特征學習和局部特征判別聚合的點云分割方法，其包括以下步驟：步驟S1、設計FPE模塊，豐富每個點云的特征并擴展全局感受野；步驟S2、設計LFDA模塊，學習更具有區別性的局部特征；步驟S3、基于膠囊網絡設計GFC模塊；步驟S4、設計GCM模塊，用于構建全局相關性；步驟S5、通過級聯多個全局和局部信息編碼模塊，在下采樣的同時，不斷擴展點的感受野；步驟S6、改進加權交叉熵損失函數，解決盾構隧道典型要素類別數據分布不均衡的問題；步驟S7、通過三個全連接層與一個Dropout層獲得最后的語義預測。本申請直接對大規模3D盾構隧道點云數據進行語義分割，避免任何的預處理或后處理，進而實現快速分割盾構隧道典型要素。

技術領域

本發明屬于計算機視覺技術領域，具體涉及基于全局特征學習和局部特征判別聚合的 點云分割方法。

背景技術

盾構地鐵隧道作為重要的城市基礎設施，需要快速、高效的檢測方法來維護隧道的正 常運營，在盾構地鐵隧道中，部分典型要素如縱向和環向接縫、螺栓孔等由于隧道結構設 計，比其它地方更容易產生變形、裂縫等問題，威脅隧道安全，因而成為隧道安全監測中 需要重點關注的對象。目前傳統的地鐵隧道測量和監測任務中，主要是通過全站儀、斷面 儀等儀器或者攝影測量等方式來獲取隧道3D點云，這種獲取隧道點云的方式存在的缺陷 為：(1)密度不均，傳統掃描儀手動操作的模式使得生成的點云密度并不均勻；(2)低效率， 傳統掃描儀固定采集的方式使得隧道點云的生成效率低下；(3)工作量巨大，傳統儀器通常 需要手動搬動更換地點進行測量。

相較而言，移動激光掃描技術具有工作效率高，采集規模大，數據精度高等優勢，其 克服了傳統方法的缺點，因而被廣泛應用于地鐵隧道監測的相關工作中。

同時，近些年來，深度學習受到了各研究領域的廣泛關注。它通過使用反向傳播算法 發現大型數據集的復雜模式并大大提升深度模型的擬合速度。雖然現在有很多針對3D點 云的深度學習模型，且在公開數據集上取得了十分不錯的效果，但是這些模型在盾構隧道 3D點云數據中分割效果較差。隨著三維采集技術的飛速發展，許多研究者將深度學習應用 到了3D數據相關任務中，2D圖像的典型深度學習方法由于其固有的數據不規則性而不能 直接應用于三維點云；PointNet(Qi et al.，2017a)直接以點云為輸入，通過對稱函數實現置 換不變性，具體來說，PointNet通過多個MLP層獨立學習逐點特征，并通過最大池層提取 全局特征。但由于PointNet自身結構原因它并不能捕捉局部鄰域信息，因此，Qi etal.(2017b) 提出了一個多層次神經網絡PointNet++，通過組合采樣層，分組層并使用PointNet從每個 點的幾何鄰域中捕捉精細的鄰域特征。在PointConv(Wu et al.，2019)中，卷積被定義為關 于重要抽樣的3D卷積的蒙特卡洛估計(Monte Carlo estimation)，卷積核由加權函數(通過 MLP層學習)和密度函數(通過核密度估計和MLP層學習)組成。為了優化內存和提高計算 效率，作者通過矩陣乘法和2D卷積進一步優化3D卷積，在相同的參數設置下，內存消耗 可減少約64倍，通過建立鄰居點的局部坐標系，PointCNN(Li et al.，2018)提出χ-conv(which is imple-mented through MLP)算子，通過χ-conv變換將輸入點轉換為潛在的標準順序，然 后對變換后的特征應用典型卷積算子。為了對大規模點云進行高效，快速的分割，(Hu et al.， 2020)提出了一種高效、輕量級的網絡RandLA-Net，用于3D點云分割，該網絡采用隨機 采樣技術，降低了內存消耗并提升了運算效率。此外，該網絡還進一步提出了局部特征聚 合模塊來捕捉局部幾何特征并提升感受野，同樣為了對大規模點云進行快速處理， FG-Net(Liu et al.，2020)通過新的濾波方法來處理噪聲和離群值，并為了進一步學習輸入點 云的潛在特征，作者設計了相關特征挖掘模塊和基于變形卷積的幾何感知建模(correlated feature mining and deformable convolution basedgeometric-aware modelling)來充分挖掘局部 特征依賴和幾何模式。Zhao et al.(2019)提出了3D膠囊網絡(3D Point Capsule Networks)， 輸入數據首先經過帶有不同權重矩陣的獨立卷積層挖掘深層特征，然后經過池化和拼接操 作組合為初級點膠囊。最后，通過動態路由機制將初級點膠囊映射為潛在膠囊，高級膠囊 是對初級膠囊中特征信息的更高層次的概括總結。該方法可以在多個領域使用，比如對象 分類，對象重建和部分分割。在PointASNL(Yan et al.2020)中，作者利用自適應采樣模塊 (Adaptive Sampling(AS)module)自適應調整通過最遠點采樣算法(Furthest Point Sampling (FPS)algorithm)采樣到的點的坐標和特征。并通過局部非局部(local-nonlocal，L-NL)模塊來 捕獲這些采樣點的局部特征和遠距離依賴(long range dependencies)。Engel et al.(2021)提出 了Point Transformer，作者通過建立局部矢量注意力并同時使用位置編碼來對鄰居點特征進行辨別性的學習，該模型在Stanford 3D Indoor Scene Dataset(S3DIS)(Armeni etal.，2016) 取得了state-of-the-art的結果。清華大學研究團隊提出的Point CloudTransformer(PCT)(Guo et al.，2021)，該方法將應用于Nature Lanuage Process(NLP)并取得顯著效果的Transformer (Vaswani et al.，2017)拓展到了3D點云數據任務中，并結合3D數據特點進行了改進，該 方法也取得了不錯的效果。為了同時使用3D點云的坐標信息和特征信息，BAAF-Net(Qiu et al.，2021)提出了雙邊上下文模塊，該模塊從坐標信息和特征信息互相學習偏移量來擴充 每個點的局部上下文，為了構建一個可以全面解釋每個點信息的特征圖，該論文還提出了 自適應融合模塊，該模塊從不同分辨率進行上采樣得到不同表達的原始點信息，然后利用 注意力機制將不同表達的原始點信息融合得到最終輸出的原始點信息。SCF-Net(Fan et al.， 2021)為局部鄰域構建不受Z軸旋轉影響的局部極坐標系表示，并通過雙距離注意力池化模 塊(Dual-Distance Attentive Pooling)聚合鄰居信息。雖然應用于點云數據的深度學習網絡模 型已經十分廣泛，但是目前最先進的網絡模型不能很好的解決盾構隧道真實點云的要素分 割任務。