[發明專利]一種基于卷積神經網絡的復雜場景3D點云語義分割方法

有效

• 申請號: 202110184572.X
• 申請日: 2021-02-10
• 公開（公告）號: CN112818999B
• 公開（公告）日: 2022-10-28
• 發明（設計）人: 吳軍;陳睿星;趙雪梅;崔玥
• 申請（專利權）人: 桂林電子科技大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/44;G06V10/774;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 桂林文必達專利代理事務所(特殊普通合伙) 45134
• 代理人: 張學平

本發明公開了一種基于卷積神經網絡的復雜場景3D點云語義分割方法，對獲取的原始點云進行下采樣，并分別利用中心自注意力機制和鄰域自注意力機制對采樣得到的采樣點云進行特征提取，之后，將提取得到的點云空間位置特征和獲取的點云數據屬性特征進行拼接，經過注意力機制下的差異性池化處理，得到全局特征向量；采用跳躍連接的方式將每一層上采樣結果和對應的所述全局特征向量進行級聯，最終經過全連接層的處理，生成點云分割神經網絡模型，利用獲取的多組點云數據集對所述點云分割神經網絡模型進行訓練和預測，最終完成語義分割任務，實驗結果證明該網絡模型具有更強的泛化性能及良好的應用價值。

技術領域

本發明涉及計算機視覺技術領域，尤其涉及一種基于卷積神經網絡的復雜場景3D點云語義分割方法。

背景技術

近年來，隨著激光雷達設備、RGB-D相機的不斷發展、成熟，3D點云數據質量、獲取效率及性價比不斷提升。作為計算機視覺長期研究課題之一，語義分割旨在利用計算機對場景逐點進行分類并將場景分割成若干個具有特定語義類別的區域，是眾多視覺任務3D場景理解和分析的基礎。依據是否對點云進行結構化預處理，其現有方法可概略分為兩類：直接點云語義分割和間接點云語義分割。為更好學習點云的細粒度局部特征，一些研究者嘗試將自適應篩選局部特征的自注意力機制引入網絡模型，通過忽略無關信息、關注重點信息進一步提升語義分割精度，如將自注意力機制引入GCNN構建網絡GAPNet，結合自注意力機制與循環神經網絡編碼RNN提出一種基于上下文注意力卷積神經網絡，結合自注意力機制與隨機采樣算法設計了一個適用于大規模3D點云的輕量級點云語義分割網絡RandLA-Net，但這些網絡中的自注意力機制側重于學習采樣點中心與其鄰域點間的局部結構特征，往往忽略了鄰域點相互結構關系的學習，同時也鮮有考慮自注意力機制在特征信息網絡傳遞過程中的作用，對于整體幾何形狀極其相似、局部細節結構略有不同的語義類仍不能進行有效區分，存在不同程度的欠分割問題；此外，雖然基于GCNN的點云語義分割網絡性能優異，但由于GCNN節點數與點云點數相關且網絡結構相對固定，大規模點云處理是一個潛在問題。

發明內容

本發明的目的在于提供一種基于卷積神經網絡的復雜場景3D點云語義分割方法，具有更強的泛化性能及良好的應用價值。

為實現上述目的，本發明提供了一種基于卷積神經網絡的復雜場景3D點云語義分割方法，包括以下步驟：

對獲取的原始點云進行下采樣，并分別利用中心自注意力機制和鄰域自注意力機制對采樣得到的采樣點云進行特征提取，得到對應的點云空間位置特征；

將所述點云空間位置特征和獲取的點云數據屬性特征進行拼接，并經過注意力機制下的差異性池化處理，得到全局特征向量；

采用跳躍連接的方式將每一層上采樣結果和對應的所述全局特征向量進行級聯，并經過全連接層的處理，生成點云分割神經網絡模型；

獲取多組點云數據集，利用所述點云數據集對所述點云分割神經網絡模型進行訓練和預測，完成語義分割任務。

其中，對獲取的原始點云進行下采樣，并分別利用中心自注意力機制和鄰域自注意力機制對采樣得到的采樣點云進行特征提取，得到對應的點云空間位置特征，包括：

利用FPS采樣法對獲取的原始點云進行下采樣，得到多組采樣中心點云；

利用KNN近鄰方法獲取多組所述采樣中心點云的采樣鄰域點云，構成以所述采樣中心點為中心的原始鄰域信息特征；

利用中心自注意力機制和鄰域自注意力機制分別對所述采樣鄰域點云進行特征提取，得到對應的點云空間位置特征。

其中，利用中心自注意力機制和鄰域自注意力機制分別對所述采樣鄰域點云進行特征提取，得到對應的點云空間位置特征，包括：

對所述采樣鄰域點云的空間坐標進行編碼，得到所述采樣中心點與任一所述鄰近點的特征矢量；