[發明專利]一種基于各向異性卷積的點云補全方法及裝置

在審

• 申請號: 202110679234.3
• 申請日: 2021-06-18
• 公開（公告）號: CN113378112A
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 劉盛;李丁達;曹益峰;黃文豪;陳勝勇
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06F17/15
• 分類號: G06F17/15;G06K9/46;G06K9/62
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 楊天嬌

本發明公開了一種基于各向異性卷積的點云補全方法及裝置，采用迭代最遠點采樣算法對輸入的原始點云數據進行下采樣，獲得更小分辨率的兩個點云數據，輸入到各向異性卷積編碼器中，提取點云數據的潛在特征，并連接所提取的三個潛在特征，使用MLP生成了最終特征向量；將最終特征向量輸入到從粗糙到精細的組合金字塔解碼器中，從最終特征向量中推測出點云缺失部分。本發明可以生成更多的高精度點云，而整個點云和缺失區域的點云失真更小。

技術領域

本申請屬于深度學習技術領域，特別是涉及了一種基于各向異性卷積的點云補全方法及裝置。

背景技術

隨著無人機和衛星技術的快速發展，遙感圖像數量正在數以萬計的增長。而建筑物作為與人類生活密切相關的一種地物，在遙感圖像中占據著大量的比重。因此，高分辨率下的遙感圖像中建筑物分割技術一直是研究的重點，對于城市規劃，土地保護，城鄉改造等都有著重大意義。而遙感圖像自身的特點也使得這種分割顯得格外困難。首先，遙感圖像中有很多遮擋和陰影問題，這些不利因素都影響著建筑物分割算法的判斷。其次遙感圖像中建筑物區域都有較接近的視覺特征，給相似的感興趣目標進行分割時有較大的難度。然后，越高的分辨率越能夠為圖像分割提供更精確的細節，但是這同樣會帶來分割時的模糊邊界。最后，不同地理位置的建筑物形狀外觀各不相同，這需要網絡具有強大的泛化能力。

由于3D點云具有無序性和非結構化，深度網絡無法像卷積網絡應用于2D圖像一樣簡單地應用于3D點云。因此大多數基于深度學習方法的處理3D點云都會將3d形狀表示為體積網格或基于視圖的投影，然后利用3D/2D卷積運算。也有把點云表示為其他方式，如：GRNet，提出了一種基于網格的方法，該方法通過對每個網格執行三次特征采樣來檢索結構上下文，并使用“反向網格化”層和MLP完成輸出。這些方法可能會導致不可逆的幾何信息丟失。得益于之前的PointNet提出，開創了使用多層感知器直接處理點云的先河，PCN是第一個以粗糙到精細的方式在原始點云上工作的框架。最近，PF-Net保留了原始不完整點云的空間結構，并預測了一個多尺度生成網絡的分層缺失點。但是，這些用MLPs模塊來提取特征，未完全考慮跨點的連通性和相鄰點的上下文。

發明內容

本申請的目的是提供一種基于各向異性卷積的點云補全方法及裝置，克服現有技術在進行點云處理時，未完全考慮跨點的連通性和相鄰點的上下文，從而造成的點云信息丟失問題。

為了實現上述目的，本申請技術方案如下：

一種基于各向異性卷積的點云補全方法，包括：

采用迭代最遠點采樣算法對輸入的原始點云數據進行下采樣，獲得更小分辨率的兩個點云數據；

將原始點云數據及下采樣獲得的兩個點云數據輸入到各向異性卷積編碼器中，所述各向異性卷積編碼器分別提取點云數據的潛在特征，并連接所提取的三個潛在特征，使用MLP生成了最終特征向量；

將各向異性卷積編碼器生成的最終特征向量輸入到從粗糙到精細的組合金字塔解碼器中，從最終特征向量中推測出點云缺失部分。

進一步的，所述各向異性卷積編碼器分別提取點云數據的潛在特征，包括：

依次經過四次各向異性卷積操作，將每次各向異性卷積操作后的中間特征進行激活函數操作，連接激活函數處理后的四個中間特征并使用MLP生成潛在特征。

進一步的，所述各向異性卷積操作，包括：

通過等面積投影方法將斐波那契晶格映射到球體表面以獲得核點，計算出點云數據中的每個點與其相鄰點的相鄰位置，將相鄰位置與所述核點做點積，然后經過激活函數得到每個點的軟排列矩陣；

將點云數據中每個點與其相鄰點做位置編碼，連接所述位置編碼與前一次各向異性卷積操作輸出的中間特征，得到每個點對應的點特征向量；