[發明專利]基于圖神經網絡的點云特征提取模型及分類分割方法

在審

• 申請號: 202110631504.3
• 申請日: 2021-06-07
• 公開（公告）號: CN113554654A
• 公開（公告）日: 2021-10-26
• 發明（設計）人: 李夢甜;謝源;馬利莊;張志忠
• 申請（專利權）人: 之江實驗室;華東師范大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06T5/50;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 楊小凡

1.基于圖神經網絡的點云魯棒性特征提取模型，包括點云卷積算子模塊和點云池化算子模塊，其特征在于所述點云卷積算子模塊是基于圖網絡的點云卷積算子模塊，包括注意力分數計算模塊和點云卷積算子計算模塊，所述點云池化算子模塊是基于圖網絡的點云池化算子模塊；

所述注意力分數計算模塊，包括最近鄰Knn建圖模塊、第一MLP層、第二MLP層、歸一化合并層、歸一化層和Multiply層，最近鄰Knn建圖模塊，搜索每個輸入點的k個鄰居，通過點與其鄰居間的邊，構建Knn圖，并通過第二MLP層將Knn圖的邊的特征映射到高維，第一MLP層，將輸入點的特征映射到高維，歸一化合并層將點和邊的高維特征進行合并，并由歸一化層對合并后的高維特征進行歸一化，Multiply層通過歸一化結果與第一MLP層輸出的邊的高維特征，計算單頭注意力分數，將多個單頭注意力分數連接，得到多頭注意力分數；

所述點云卷積算子計算模塊，將輸入點進行圖卷積算子操作，并與多頭注意力分數進行合并，得到第一特征輸出；

所述基于圖網絡的點云池化算子模塊，通過最近鄰Knn建圖模塊獲取一組點，并加入其對應的注意力分數后，按注意力分數進行排序，得到索引操作和特征注意掩碼，再經掩模操作，得到第二特征輸出。

2.根據權利要求1所述的基于圖神經網絡的點云魯棒性特征提取模型，其特征在于所述點云卷積算子計算模塊，包括依次連接的圖卷積算子模塊、第三MLP層、聚合層和合并層，第三MLP層、合并層分別與所述Multiply層連接，圖卷積算子模塊基于Knn圖進行圖卷積算子操作后，通過第三MLP層獲取的多頭注意力分數，實現權值共享并提取特征，再由聚合層進行聚合操作后，進如ReLU層調參，合并層獲取多頭注意力分數并與調參結果合并，得到第二特征輸出。

3.根據權利要求1所述的基于圖神經網絡的點云魯棒性特征提取模型，其特征在于還包括特征提取多層融合模塊，對所述第二特征輸出進行上采樣。

4.根據權利要求1所述的基于圖神經網絡的點云魯棒性特征提取模型，其特征在于所述注意力分數計算模塊，將輸入數據描述為其為具有F維的原始無序點集，其中N是點的數量，p_i是特征向量，所述最近鄰Knn建圖模塊，構造有向k最近鄰圖G＝(V,E)表示點云的局部結構，其中V＝1,2,...,N表示點的節點數，表示連接相鄰節點對的邊，N_i是作為節點的特征向量p_i的鄰域集，將邊的特征定義為e_ij＝(p_i-p_ij)，表示與節點p_i相鄰的是節點p_j，其中i∈V,j∈N_i，e_ij表示與節點p_i相鄰的是節點p_j，p_ij表示下表i的鄰居是j。

5.根據權利要求4所述的基于圖神經網絡的點云魯棒性特征提取模型，其特征在于所述第一MLP層將輸入點的特征映射到高維、第二MLP層將邊的特征映射到高維F’：

p′_i＝g(p_i,θ)

e′_ij＝g(e_ij,θ)

g是一個非線性函數，θ是一組學習參數；

通過歸一化合并層，進一步融合點高維特征g(p′_i,θ)和邊高維特征g(e′_ij,θ)：

n_ij＝LeakyReLU(g(p′_i,θ)+g(e′_ij,θ))

所述歸一化層，對不同點的各個鄰居之間的注意力分數進行歸一化：

exp()表示softmax歸一化函數；

所述Multiply層，通過計算線性組合，得到單頭注意力分數：

f表示非線性激活函數；

將M個單頭注意力分數進行連接：

表示第m個頭的注意力特征，表示所有M個單頭的連接操作。