[發明專利]基于圖神經網絡的點云特征提取模型及分類分割方法

在審

• 申請號: 202110631504.3
• 申請日: 2021-06-07
• 公開（公告）號: CN113554654A
• 公開（公告）日: 2021-10-26
• 發明（設計）人: 李夢甜;謝源;馬利莊;張志忠
• 申請（專利權）人: 之江實驗室;華東師范大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06T5/50;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 楊小凡

本發明公開了基于圖神經網絡的點云特征提取模型及分類分割方法，基于圖神經網絡圖注意力方法和圖池化方法，設計了一種點云卷積（AG?conv）算子和點云池化算子（HA?pool），實現了旋轉不變性，其核心思想是使用圖注意力方法來處理不變的幾何特征。具體地，本發明結合圖注意方法，設計了一種新的卷積算子，對點云的旋轉魯棒表示進行編碼；提出一種新的池算子，通過分層計算特征來擴大感受野大小和規則化學習特征；提出一種基于卷積和池算子的緊湊型神經網絡，用于三維物體分類和零件分割。

技術領域

本發明涉及深度學習技術領域，尤其是涉及基于圖神經網絡的點云特征提取模型及分類分割方法。

背景技術

3D深度學習的最新進展表明，可以設計特殊的卷積算子來使用點云數據。但是，典型的缺點是旋轉不變性通常無法得到保證，從而導致網絡推廣到任意旋轉的效果很差。近年來，隨著深度學習的發展，基于三維點云的目標識別技術取得了令人矚目的成就。點云具有稀疏性和不規則的結構，并且通常伴有丟失的部分和噪聲信息，這些問題被深度學習模型較好地解決，但點云的幾何變換，如剛性變換換仍然是一個具有挑戰性的問題。也就是說，魯棒的旋轉表示學習，需要更具原則性的公式。然而，現有的方法往往依賴于直立物體姿態的假設。在三維物體識別的背景下，有一些技術可以處理三維點云的幾何變換。有些方法使用空間變換網絡來規范化輸入點坐標，但是這些方法需要數據擴充來對輸入示例的變量變換進行一致地處理。其他方法試圖利用手工提取的變換不變特征，如距離和角度，以實現魯棒識別。盡管這些方法在實際應用中取得了較好的性能，但是這些低層次的幾何特征表達細節形狀信息的能力有限，并且由于多點的聯合考慮，使其計算復雜度逐漸增加。近期的方法試圖在點云上進行卷積操作，因此需要在卷積算子中進行一些特殊的設計來處理這種不規則性。然而，大多數以前的工作，不支持輸入的不一致的旋轉的點云。在訓練過程中，數據只是簡單地增加了一些旋轉增強，這會導致網絡不能很好地泛化到看不見的旋轉。目前也存在一些實現了旋轉不變性的卷積算子，但是仍然沒有實現對任意旋轉數據的一致預測。

發明內容

為解決現有技術的不足，實現對任意旋轉數據的一致性預測的目的，本發明采用如下的技術方案：

基于圖神經網絡的點云魯棒性特征提取模型，包括點云卷積算子模塊和點云池化算子模塊，所述點云卷積算子模塊是基于圖網絡的點云卷積算子模塊，包括注意力分數計算模塊和點云卷積算子計算模塊，所述點云池化算子模塊是基于圖網絡的點云池化算子模塊；

所述注意力分數計算模塊，包括最近鄰Knn建圖模塊、第一MLP層、第二MLP層、歸一化合并層、歸一化層和Multiply層，為了給每個點不同的鄰居賦予不同的注意力分數，首先最近鄰Knn建圖模塊，搜索每個輸入點的k個鄰居，通過點與其鄰居間的邊，構建Knn圖，并通過第二MLP層將Knn圖的邊的特征映射到高維，第一MLP層，將輸入點的特征映射到高維，歸一化合并層將點和邊的高維特征進行合并，并由歸一化層對合并后的高維特征進行歸一化，Multiply層通過歸一化結果與第一MLP層輸出的邊的高維特征，計算單頭注意力分數，得到單頭注意力分數之后，為每個點計算上下文關注特征，將多個單頭注意力分數連接，得到多頭注意力分數；

所述點云卷積算子計算模塊，點云卷積算子利用圖卷積算子和注意力機制共同參與，以探索局部點云的魯棒旋轉特征，將輸入點進行圖卷積算子操作，并與多頭注意力分數進行合并，得到第一特征輸出；

所述基于圖網絡的點云池化算子模塊，為了增強網絡學習每層中基于特征或拓撲的節點分配的能力，在多圖特征的相鄰通道上提出一個層次化的注意力池化層，池化層基于點云卷積算子學習到注意力分數，依據注意力分數的高低識別出最重要的局部特征，通過最近鄰Knn建圖模塊獲取一組點，并加入其對應的注意力分數后，按注意力分數進行排序，得到索引操作和特征注意掩碼，再經掩模操作，得到第二特征輸出。