[發明專利]一種基于改進PointConv的點云語義與實例聯合分割方法及系統

在審

• 申請號: 202110495434.3
• 申請日: 2021-05-07
• 公開（公告）號: CN113421267A
• 公開（公告）日: 2021-09-21
• 發明（設計）人: 顧寄南;張文浩
• 申請（專利權）人: 江蘇大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06T5/50;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提供了一種基于改進PointConv的點云語義與實例聯合分割方法及系統，以激光雷達或深度相機獲取的點云作為改進PointConv特征提取模塊的輸入，經過共享編碼模塊的點同時通過語義分割解碼和實例分割解碼，得到實例特征預測和語義特征預測，雙線自注意模塊將改進PointConv特征提取模塊所得到的語義特征預測和實例特征預測進行特征融合，分別進行實例分割和語義分割，得到包含有語義特征的實例信息和包含有實例特征的語義信息。本發明提高了實例分割的速度，且減少了對語義分割精度的依賴性。

技術領域

本發明屬于點云分割技術領域，具體涉及一種基于改進PointConv的點云語義與實例聯合分割方法及系統。

背景技術

神經網絡在圖像特征提取過程中，具有強大的特征學習能力，使得計算機視覺領域的圖像語義以及實例分割任務取得了重大的突破。自PointNet算法后，端到端的點云分割算法迅速發展，但仍然存在以下缺陷：①在進行KNN或者Radius NN搜索時，由于搜索點順序的不同，導致點云的無序性，大多方法使用mlp和maxpooling的形式來提取特征，提取的點特征不能獲取點云的局部幾何形狀與點之間的相互作用；②目前點云算法第一步采用最遠點采樣，屬于非均勻采樣，導致某些局部區域點大量聚集，部分區域點消失，特征學習能力不強；③大多數網絡將語義分割與實例分割任務以串聯的方式將兩者結合，存在次優、低效性并且二者依賴性過強的問題。

發明內容

針對現有技術中存在不足，本發明提供了一種基于改進PointConv的點云語義與實例聯合分割方法及系統，提高實例分割的速度，減少對語義分割精度的依賴性。

本發明是通過以下技術手段實現上述技術目的的。

一種基于改進PointConv的點云語義與實例聯合分割方法，具體為：

獲取的點云輸入改進PointConv特征提取模塊，經過共享編碼模塊，得到特征維度為512的點，所述特征維度為512的點同時通過語義分割解碼和實例分割解碼，得到實例特征預測F_ins和語義特征預測F_sem；所述實例分割解碼部分引入上下文聚合模塊以及門控傳播模塊，增強特征的學習；

雙線自注意模塊將改進PointConv特征提取模塊所得到的語義特征預測F_sem和實例特征預測F_ins進行特征融合，分別進行實例分割和語義分割，得到包含有語義特征的實例信息和包含有實例特征的語義信息。

進一步的技術方案，所述輸入改進PointConv特征提取模塊的點云包括點的xyz歸一化絕對坐標、rgb顏色信息以及點相對于局部坐標系的相對坐標x′y′z′。

進一步的技術方案，所述實例分割解碼具體為：

先使用PointDeconv對共享編碼模塊的最終結果進行反卷積上采樣到N_d個點，將這N_d個點的特征輸入至上下文聚合模塊，經過三次1x1卷積，分部得到特征Q、特征K和特征V，將特征Q與轉置后的特征K進行矩陣乘法，再經過sigmoid壓縮得到權重矩陣W₁，將權重矩陣W₁與特征V進行矩陣乘法，所得結果與再與特征V進行逐元素相加，得到最終的聚合特征；