[發明專利]一種基于卷積神經網絡的復雜場景3D點云語義分割方法

有效

• 申請號: 202110184572.X
• 申請日: 2021-02-10
• 公開（公告）號: CN112818999B
• 公開（公告）日: 2022-10-28
• 發明（設計）人: 吳軍;陳睿星;趙雪梅;崔玥
• 申請（專利權）人: 桂林電子科技大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/44;G06V10/774;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 桂林文必達專利代理事務所(特殊普通合伙) 45134
• 代理人: 張學平

1.一種基于卷積神經網絡的復雜場景3D點云語義分割方法，其特征在于，包括以下步驟：

對獲取的原始點云進行下采樣，并分別利用中心自注意力機制和鄰域自注意力機制對采樣得到的采樣點云進行特征提取，得到對應的點云空間位置特征；

將所述點云空間位置特征和獲取的點云數據屬性特征進行拼接，并經過注意力機制下的差異性池化處理，得到全局特征向量；

采用跳躍連接的方式將每一層上采樣結果和對應的所述全局特征向量進行級聯，并經過全連接層的處理，生成點云分割神經網絡模型；

獲取多組點云數據集，利用所述點云數據集對所述點云分割神經網絡模型進行訓練和預測，完成語義分割任務；

對獲取的原始點云進行下采樣，并分別利用中心自注意力機制和鄰域自注意力機制對采樣得到的采樣點云進行特征提取，得到對應的點云空間位置特征，包括：

利用FPS采樣法對獲取的原始點云進行下采樣，得到多組采樣中心點云；

利用KNN近鄰方法獲取多組所述采樣中心點云的采樣鄰域點云，構成以所述采樣中心點為中心的原始鄰域信息特征；

利用中心自注意力機制和鄰域自注意力機制分別對所述采樣鄰域點云進行特征提取，得到對應的點云空間位置特征；

利用中心自注意力機制和鄰域自注意力機制分別對所述采樣鄰域點云進行特征提取，得到對應的點云空間位置特征，包括：

對所述采樣鄰域點云的空間坐標進行編碼，得到所述采樣中心點與任一鄰近點的特征矢量，其中，空間編碼的計算方式為：

u_i(i∈N)和分別表示中心點和鄰近點的空間坐標，表示特征之間的連接方式，表示中心采樣點與鄰域點之間的歐式距離，表示相對位移矢量；

對所有的所述特征矢量進行1×1卷積，并與自注意力得分相乘，得到采樣中心點云空間位置特征；

利用所述鄰域自注意力機制對所述采樣鄰域點云進行特征提取，并與所述采樣中心點云空間位置特征進行拼接，得到對應的點云空間位置特征。

2.如權利要求1所述的基于卷積神經網絡的復雜場景3D點云語義分割方法，其特征在于，利用所述鄰域自注意力機制對所述采樣鄰域點云進行特征提取，并與所述采樣中心點云空間位置特征進行拼接，得到對應的點云空間位置特征，包括：

將任一所述采樣鄰域點云與構建的鄰近點集中的設定值相減，得到對應的相對位移矢量；

對所有的所述位移矢量進行1×1卷積，并與自注意力得分相乘，得到鄰域點云空間位置特征；

將所述鄰域點云空間位置特征與所述采樣中心點云空間位置特征進行拼接，得到所述點云空間位置特征。

3.如權利要求1所述的基于卷積神經網絡的復雜場景3D點云語義分割方法，其特征在于，將所述點云空間位置特征和獲取的點云數據屬性特征進行拼接，并經過注意力機制下的差異性池化處理，得到全局特征向量，包括：

采用MLP分別抽象所述點云空間位置特征和獲取的點云數據屬性特征，并利用自注意力機制學習所述點云空間位置特征和所述點云數據屬性特征拼接后的局部空間及屬性特征；

將學習到的注意力得分作為對應采樣點的權重，在鄰域范圍內計算加權求和得到注意力池化結果；

對獲取的局部點云坐標特征經過MLP后進行最大池化處理，并與所述注意力池化結果進行拼接，得到全局特征向量，其中，所述局部點云坐標特征為自注意力機制學習所述點云空間位置特征和所述點云數據屬性特征拼接得到。