[發明專利]基于點云補全技術的三維點云重建方法及系統

在審

• 申請號: 202210259822.6
• 申請日: 2022-03-16
• 公開（公告）號: CN114612619A
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 樂心怡;徐嘉文;陳彩蓮;關新平
• 申請（專利權）人: 上海交通大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06N3/04;G06N3/08
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 胡晶

本發明提供了一種基于點云補全技術的三維點云重建方法及系統，包括：多尺度特征提取步驟：對采集到的待重建點云信息進行多尺度特征提取，得到多尺度特征向量；多尺度特征重構步驟：將多尺度特征向量進行特征重構，得到預測缺失部分點云；訓練步驟：根據預測缺失部分點云和聯和損失函數進行訓練，進行三維點云重建。與現有技術相比，本發明通過迭代最遠點采樣和卷積神經網絡提取輸入分布的多尺度特征信息，并通過自底向上的方式逐級預測不完整點云樣本的缺失部分，最終實現對目標物體的高精度重建。

技術領域

本發明涉及三維重建技術領域，具體地，涉及一種基于點云補全技術的三維點云重建方法及系統。

背景技術

三維重建技術通過深度數據獲取、預處理、點云配準與融合和生成表面等過程，把真實場景刻畫成符合計算機邏輯表達的數學模型。這種模型可以對如文物保護、游戲開發、建筑設計、臨床醫學等研究起到輔助的作用。在景物深度信息已知的條件下，只需要經過點云數據的配準及融合，即可實現景物的三維重建。

現有的三維點云重建系統的特征提取模塊只關注了輸入點云的全局特征信息，缺乏對輸入點云局部特征信息的感知，進而影響系統重建的點云質量。因此，現有技術存在對輸入分布局部特征信息感知能力不佳的問題。

專利文獻CN113706686A公開了一種三維點云重建結果補全方法，該方法采用迭代預測和修正的方式預測缺失點云，以不完全的三維點云作為輸入，構建基于Transformer的金字塔編碼器，學習點之間的相關性，提取多尺度的全局幾何結構和局部細節特征；構建基于Transformer的金字塔解碼器，充分利用已有點云的全局幾何結構和局部細節信息，在多個尺度上迭代預測缺失點云，補全三維點云重建結果。但該方法并未有效地解決現有技術中對于局部特征信息感知能力不佳的問題。

發明內容

針對現有技術中的缺陷，本發明的目的是提供一種基于點云補全技術的三維點云重建方法及系統。

根據本發明提供的一種基于點云補全技術的三維點云重建方法，包括如下步驟：

多尺度特征提取步驟：對采集到的待重建點云信息進行多尺度特征提取，得到多尺度特征向量；

多尺度特征重構步驟：將多尺度特征向量進行特征重構，得到預測缺失部分點云；

訓練步驟：根據預測缺失部分點云和聯和損失函數進行訓練，進行三維點云重建。

優選地，多尺度特征提取步驟，包括：

多尺度特征提取子步驟1：通過迭代最遠點采樣對待重建點云信息進行下采樣處理，得到第一分辨率點云信息和第二分辨率點云信息；

多尺度特征提取子步驟2：通過卷積神經網絡對待重建點云信息、第一分辨率點云信息和第二分辨率點云信息進行特征提取，得到多尺度特征向量。

優選地，多尺度特征重構步驟，包括：

多尺度特征重構子步驟1：根據多尺度特征向量，得到第一維度特征向量、第二維度特征向量和第三維度特征向量；

多尺度特征重構子步驟2：根據第一維度特征向量、第二維度特征向量和第三維度特征向量，得到第一分辨率缺失部分點云、第二分辨率缺失部分點云和第三分辨率缺失部分點云；

多尺度特征重構子步驟3：將第一分辨率缺失部分點云、第二分辨率缺失部分點云和第三分辨率缺失部分點云進行疊加，得到預測缺失部分點云。

優選地，訓練步驟，包括：

訓練子步驟1：根據第一分辨率缺失部分點云、第二分辨率缺失部分點云和第三分辨率缺失部分點云，構建損失函數；

訓練子步驟2：根據預測缺失部分點云，構建生成對抗損失函數；