[發明專利]一種三維點云重建結果補全方法及相關組件

有效

• 申請號: 202110779987.1
• 申請日: 2021-07-09
• 公開（公告）號: CN113706686B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 盧麗華;魏輝;李茹楊;趙雅倩;李仁剛
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張春輝

本發明公開了一種三維點云重建結果補全方法，該方法采用迭代預測和修正的方式預測缺失點云，以不完全的三維點云作為輸入，構建基于Transformer的金字塔編碼器，學習點之間的相關性，提取多尺度的全局幾何結構和局部細節特征；構建基于Transformer的金字塔解碼器，充分利用已有點云的全局幾何結構和局部細節信息，在多個尺度上迭代預測缺失點云，補全三維點云重建結果，該方法可以有效提升三維點云重建結果補全的精準度，提升三維點云重建的輸出效果。本發明還公開了一種三維點云重建結果補全裝置、設備及可讀存儲介質，具有相應的技術效果。

技術領域

本發明涉及數據處理技術領域，特別是涉及一種三維點云重建結果補全方法、裝置、設備及可讀存儲介質。

背景技術

三維點云數據(point?cloud)指通過3D掃描儀所取得的資料形式。掃描資料以點的形式存儲，每一個點包含有三維坐標，有些可能含有色彩資訊(R,G,B)或物體反射面強度等信息。點云數據是常見的三維模型表示方法，可有效表示復雜三維形狀。其主要可以利用激光掃描設備或通過RGBD(RGB?Depth?Map，RGB模式深度圖)深度相機等掃描設備來獲取。但是，由于物體間相互遮擋、傳感器距離限制等原因，通過掃描設備獲取的三維點云重建結果存在噪聲，甚至出現孔洞或形狀結構缺失。針對這一問題，點云補全從不完整點云重建結果出發，通過補全得到完整的高質量點云形狀來彌補掃描設備獲取的三維點云重建結果差的問題，從而廣泛應用于自動駕駛、機器人視覺、虛擬現實、增強現實等領域。

近來，通常基于點進行深度學習的點云補全，具體地，該方法中以不完整點云作為輸入，在多個層次上提取已有點云的多尺度特征，用以迭代預測缺失部分的點云。該方法可以在一定程度上補全細節信息，但是存在已有點云細節丟失和修復不完全的問題。

綜上所述，如何解決三維點云形狀補全中已有點云細節丟失和修復不完全的問題，是目前本領域技術人員急需解決的技術問題。

發明內容

本發明的目的是提供一種三維點云重建結果補全方法、裝置、設備及可讀存儲介質，以解決三維點云形狀補全中已有點云細節丟失和修復不完全的問題。

為解決上述技術問題，本發明提供如下技術方案：

一種三維點云重建結果補全方法，包括：

接收待補全的三維點云，作為不完整點云；

調用基于Transformer的金字塔編碼器對所述不完整點云進行多尺度全局特征和局部特征提取，得到全局特征以及局部特征；

調用基于Transformer的金字塔解碼器根據所述全局特征以及所述局部特征進行多尺度迭代預測，得到缺失點云；

將所述缺失點云與所述不完整點云組合，作為預測完整點云。

可選地，所述調用基于Transformer的金字塔解碼器根據所述全局特征以及所述局部特征進行多尺度迭代預測，包括：

調用第一解碼塊根據所述全局特征、所述局部特征以及嵌入的條件輸入進行點云恢復，得到缺失點云的初始特征；

調用第二解碼塊對輸入點云上采樣后進行點云特征優化，作為所述缺失點云。

可選地，所述調用第二解碼塊對輸入點云上采樣后進行點云特征優化，包括：

調用所述第二解碼塊中的上采樣層對所述生成點云以及對應連接的編碼塊輸出的已有點云進行點云合并，得到合并點云；

對所述合并點云按預設分辨率進行插值，得到插值點云；

調用所述第二解碼塊中的Transformer層對所述插值點云進行點云特征優化，作為所述缺失點云；