[發明專利]一種基于多尺度自注意力網絡的點云補全系統及方法

在審

• 申請號: 202111473925.4
• 申請日: 2021-12-02
• 公開（公告）號: CN114332302A
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 曾安;彭杰威;潘丹;鐘旭升;劉立程;陳揚
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06T11/40
• 分類號: G06T11/40;G06N3/04;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 禹小明

本發明公開了一種基于多尺度自注意力網絡的點云補全系統及方法，系統包括：降采樣特征提取模塊、多尺度自注意力模塊、雙路稠密點云生成模塊，所述降采樣特征提取模塊用于對原始點云數據進行降采樣并提取降采樣后的點云特征，所述多尺度自注意力模塊用于提取全局特征和缺失部分的點云特征與稀疏點云，所述雙路稠密點云生成模塊用于生成補全的點云。本發明實現了對復雜結構點云的補全，生成完整物體的稠密點云。

技術領域

本發明涉及點云處理技術領域，更具體地，涉及一種基于多尺度自注意力網絡的點云補全系統及方法。

背景技術

點云是三維視覺的一種常用數據結構，是三維空間中一群點的集合，可用于表達物體的空間信息。點云的獲取來源主要有兩種方式：直接獲取與間接獲取。直接獲取一般是指利用具有激光雷達傳感器、光譜傳感器等測量較為精密的儀器設備，融合各種傳感器獲取的信息，直接將現實中的物體轉變為虛擬的三維模型，從而獲得三維點云。間接獲取通常是指利用多張同一場景、不同角度的二維圖像進行三維重建，通過圖像之間的特征點匹配計算得到三維點的坐標，形成點云。然而，對于體型較小或者形狀結構復雜的物體而言，由于待測物體距離過遠、掃描精度過低、復雜結構的相互遮擋等因素，導致了點云出現缺失、稀疏等現象，尤其是存在相互遮擋這種無法調節的因素。對存在缺失的點云進行補全，能修補三維重建未能重建的部分，對物體三維渲染和物體表型分析具有提高精度、降低誤差的重要意義。

對于存在缺失的三維點云，通常的解決思路是研究該點云的形狀特性，憑已知部分猜測缺失部分的形狀，將缺失的部分進行填補，從而恢復一個完整的三維點云。現有的方法利用物體在三維空間中特定的性質來補全，比如對稱的性質，能檢測出平面反射對稱性，生成一系列的點云初始候選對象，然后使用局部遍歷搜索尋求出最優的對象作為最終解；利用特定對象的先驗幾何參數進行重建，從而解決物體表面缺陷問題；使用數據檢索匹配的方法，將實時掃描的數據與3D形狀數據庫對齊、匹配，來構建對應的虛擬模型。這些方法對純平面的補全比較有效，比如利用汽車的車頂是平行于地面的特性來生成缺失的車頂，但對于形狀多樣的物體補全并不適用，而且優化比較困難。

當前，點云補全主要使用深度學習的方法，主要思路基本上遵循先壓縮、后還原的規則，即使用編碼器-解碼器的網絡結構。這些方法在公開數據集上表現效果好，特別對于形狀簡單、整體規整的物體，比如汽車、桌子、椅子、書柜等物體，但在實際應用場景下，對于結構復雜的點云的效果仍有不足?，F有技術公開了一種基于自注意力的多樣點云補全方法和裝置，涉及計算機三維點云補全和深度學習技術領域，其中，方法包括：獲取點云數據，對點云數據進行處理，獲取輸入點代理序列；對點代理序列進行編碼，獲取點編碼向量，對點編碼向量進行解碼，獲取預測點代理；將預測點代理輸入多層感知器，獲取預測點中心，并在預測點中心的基礎上恢復完整點云數據。由此，將點云處理成為點代理序列，并采用編碼器-解碼器來構建點云不同點之間的長程關系實現點云重建。該方案雖然采用自注意力機制，但其沒有考慮輸入數據尺寸和特征維度單一的問題。

發明內容

本發明為克服上述現有的點云補全方法對于結構復雜的點云的效果不佳的缺陷，提供一種基于多尺度自注意力網絡的點云補全系統及方法。

本發明的首要目的是為解決上述技術問題，本發明的技術方案如下：

本發明第一方面提供一種基于多尺度自注意力網絡的點云補全系統，包括：

降采樣特征提取模塊、多尺度自注意力模塊、雙路稠密點云生成模塊，所述降采樣特征提取模塊用于對原始點云數據進行降采樣并提取降采樣后的點云特征，所述多尺度自注意力模塊利用降采樣后的點云提取全局特征和缺失部分的點云特征與稀疏點云，所述雙路稠密點云生成模塊利用原始輸入部分點云和缺失部分的稀疏點云生成補全的點云。

進一步的，所述降采樣特征提取模塊包括：最遠距離采樣單元、鄰域圖構建單元、多層感知機單元、最大池化層，所述最遠距離采樣單元用于對輸入的點云進行下采樣；所述領域圖構建單元以降采樣得到的點為中心點使用k近鄰算法對每一點構建局部鄰域圖，計算中心點與k個鄰域點構成的邊特征；