[發明專利]一種點云補全方法、系統及應用

有效

• 申請號: 202110294698.2
• 申請日: 2021-03-19
• 公開（公告）號: CN113052955B
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 宋銳;夏亞奇;李嬌嬌;曹鍇郎;張宇航;王養利;李云松
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T3/40
• 代理公司: 西安長和專利代理有限公司 61227
• 代理人: 何畏

本發明屬于計算機視覺技術領域，公開了一種點云補全方法、系統及應用，所述點云補全方法包括：先構建輸入點云先驗信息提取單元；再構建中間點云先驗信息提取單元；再構建點云精化單元；接著判斷輸出點云點數是否滿足要求，不滿足則再次構建點云精化單元直至滿足要求；再生成訓練集來訓練點云補全模型；最后利用訓練完成的模型對殘缺點云進行補全。本發明提供的點云補全方法，通過充分利用殘缺輸入點云以及一般點云補全網絡的輸出點云提供的物體形狀先驗信息，通過級聯的精化單元對先驗信息進行整合處理，使網絡可以更好地保留原始輸入點云中的細節信息，從而更好地推斷物體點云殘缺的形狀，進而達到更優的補全效果。

技術領域

本發明屬于計算機視覺技術領域，尤其涉及一種點云補全方法、系統及應用。

背景技術

目前，三維視覺在學術界及商業界備受關注，三維點云成為一種在計算視覺、機器人領域被廣泛應用的基礎數據形式，在客觀事物的描述上擁有比二維圖像更高一維信息量的獨特優勢。然而，由于物體遮擋及自身遮擋等原因，由激光雷達采集的現實世界的三維數據通常都是殘缺、不完整且分布不均勻。這些數據丟失了重要的幾何和語義信息，因為它實際上畸化了原始物體形狀的尺寸，改變了物體的體積，破壞了物體的表面結構。這樣不完整的點云數據將極大地影像到其自身的潛在價值。因此，能夠從深度相機或激光雷達掃描獲取的不完整的點云中推斷出物體完整結構的點云補全方法將會對點云數據的應用產生深遠的影響。

一般來說，點云補全的方法可以大致分為基于幾何、基于檢索、基于學習的方法。(1)基于幾何的補全方法非常依賴物體的幾何信息，例如局部信息的連續性以及空間分布的平滑性。目前基于該方法的一些工作已成功應用于輸入點云在缺少一些小洞或小孔情況下的表面修復中。除此之外，一些研究工作關注于自然物體本身的對稱性，將殘缺的輸入相對于求解出的對稱軸作對稱變換得到的對稱點云作為先驗信息來重建目標的缺失部分。然而，對于較大區域的缺失點，它是無法補全的。(2)基于對齊的補全思想是將點云補全的問題轉化為若干個檢索任務，即通過從預準備的三維形狀數據庫中檢索最相似的模板來間接達到補全的目的。(3)基于學習的補全方法是借助人工神經網絡來訓練具有形狀補全功能的深度網絡模型。在不同三維模型表現形式下，例如：體素格網、點云和三維網格，基于學習的領先方法都展現了卓越的補全表現。在早期的研究中，研究學者們傾向于選擇使用體素格網的方式來表示三維物體，因為通過體素化的方式可以方便應用三維卷積的操作來處理這些離散點陣化的數據。相較于三維網格、體素格網等表示結構，三維點云是一種易于處理簡單的結構。除此之外，在點云中添加新點和插值會非常簡單，由于點云中所有點均是互相獨立，故無需再更新點之間的連接信息。基于學習的補全方法隨著最近幾年大規模三維合成CAD模型數據集的出現取得了卓有成效的發展。

以上的方法中，基于幾何的補全方法雖然簡單高效，但是它們要求輸入點云幾乎完整或對稱性明顯，當物體缺失區域較大或形狀復雜無對稱性時，這些方法將束手無策；基于對齊的補全方法在某種程度上是有效可行的，但是同時也會遇到一些瓶頸。一方面，檢索過程需要大量的運算開銷，這使得這種方法很難移植與實時處理平臺；另一方面，輸入點云噪聲度的大小將會很大程度上影響最后補全結果；基于學習的補全方法在形狀補全任務上的表現令人印象深刻，同時也將三維形狀補全工作的效果提升到一個新的高度上。然而，它們依然還不能同時生成均勻分布且具有細粒度細節的補全點云。

針對以上問題，目前需要一種新的方法，既能保留殘缺輸入點云中的細節信息，又能補全物體的缺失部位，并生成分布均勻的補全點云。

通過上述分析，現有技術存在的問題及缺陷為：

(1)基于幾何的點云補全方法，對于較大區域的缺失點，是無法補全的；當物體缺失區域較大或形狀復雜無對稱性時，該方法將束手無策。

(2)基于對齊的補全方法，檢索過程需要大量的運算開銷，這使得這種方法很難移植與實時處理平臺。

(3)基于對齊的補全方法，輸入點云噪聲度的大小將會很大程度上影響最后補全結果。