[發明專利]一種基于多層級的高質量點云補全方法

有效

• 申請號: 202110457260.1
• 申請日: 2021-04-27
• 公開（公告）號: CN113240594B
• 公開（公告）日: 2022-06-24
• 發明（設計）人: 雷印杰;周子欽
• 申請（專利權）人: 四川大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T19/20;G06N3/04
• 代理公司: 廣東中禾共贏知識產權代理事務所(普通合伙) 44699
• 代理人: 熊士昌

本發明提供一種基于多層級的高質量點云補全方法，屬于計算機視覺技術領域，通過將原始殘缺點云經過隨機區域劃分器生成為多個不完整區域，隨后提取殘缺點云的全局特征與不完整區域的局部特征，通過預恢復模塊生成預恢復后的完整區域，再利用預恢復的完整區域通過多層級特征聚合器獲得融合特征，然后采取由粗到細的策略生成具有豐富細節的完整點云，將前面得到的局部與全局點云與對應真實完整點云計算損失，并依據損失值訓練網絡，保存訓練模型，即可得應用于殘缺點云數據進行補全操作；該方法的目的在于使得神經網絡在點云補全時關注局部結構，搭建從局部到整體的補全框架，對缺失的局部區域進行重點修補，從而提升補全后點云的細節結構質量。

技術領域

本發明涉及計算機視覺技術領域，特別涉及一種基于多層級的高質量點云補全方法。

背景技術

云補全是指計算機根據輸入的殘缺三維點云形狀，補全缺失點云區域，從而獲得更高質量的點云形狀。傳統點云補全方法基于三維物體的先驗結構信息，例如對稱性信息或者語義類信息等進行形狀修補。然而，傳統方法僅能處理點云缺失比率較低、對稱缺失、結構簡單等的不完整點云形狀。近年來，隨著深度學習的發展，越來越多的研究采用基于神經網絡的補全方法。

Groueix等人通過構建的解碼器學習從二維歐幾里得空間到三維曲面的流形映射關系，從而完成點云補全任務。Yang等人提出了對歐式平面上的兩步折疊操作，通過三層感知機模型將二維網格映射到三維空間坐標，提高補全后的點云表面的光滑度。Yuan等人沿用非卷積特征提取器保留點云數據的排列無關性屬性，同時引入多分辨率結構的點云生成策略，從而由粗到細的平滑點云數據。Tchapmi等人設計基于樹結構的解碼器TopNet產生子點云的幾何結構信息，從而探索點云數據補全任務中潛在的拓撲空間。Liu等人為生成平滑的補全細節，引入懲罰機制防止多個三維點云區域表面之間的重疊。Wang等人提出基于多次迭代提升點云密度的方法，并引入對抗網絡(GANs)提高點云生成的細節質量。Wen等人引入跨連(Skip-Connection)操作傳遞不同層之間的特征信息，在保留完整點云結構的同時細化點云生成的局部區域，從而減少網絡學習過程中的信息缺失。Huang等人設計無監督學習任務，僅對缺失的局部區域進行學習，以提高網絡對點云數據中差異性細節的生成能力。

盡管基于深度學習的點云補全性能逐步提高，但是研究人員發現，網絡會更趨向于關注整體特征從而生成具有共性特征的點云形狀，而忽略點云局部細節結構。

發明內容

本發明的主要目的在于提供一種基于多層級的高質量點云補全方法，使得神經網絡在點云補全時關注局部結構，恢復出高質量、細節豐富的三維形狀，可以有效解決背景技術中提到的問題。

為實現上述目的，本發明采取的技術方案為：

一種基于多層級的高質量點云補全方法，該方法主要包括以下步驟：

S1、將原始殘缺點云經過隨機區域劃分器生成為多個不完整區域；

S2、提取殘缺點云的全局特征與S1中得到不完整區域的局部特征；

S3、通過預恢復模塊生成預恢復后的完整區域；

S4、通過S3中生成的預恢復的完整區域通過多層級特征聚合器獲得融合特征；

S5、采取由粗到細的策略生成最終具有豐富細節的完整點云；

S6、將S3與S5得到的局部與全局點云與對應真實完整點云計算損失，并依據損失值訓練網絡；

S7、保存訓練模型，即可得應用于殘缺點云數據進行補全操作。

優選的，所述S2中，使用PCN網絡結構提取特征。

優選的，所述S3、S5中引入二維網格，用以提高生成點云坐標的平滑性。

優選的，所述S6中使用倒角損失計算生成點云與真實完整點云之間的距離來實現約束。