[發明專利]一種基于圖信號處理的三維動態點云修復方法

有效

• 申請號: 202110190191.2
• 申請日: 2021-02-18
• 公開（公告）號: CN113066016B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 胡瑋;傅澤卿;郭宗明
• 申請（專利權）人: 北京大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T15/08;G06F16/901;G06F17/14;G06K9/62;G06V10/74
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 司立彬

本發明公開了一種基于圖信號處理的三維動態點云修復方法，其步驟包括：1)將點云序列S有缺失區域P_f分割成n個立方塊并從中選擇包含缺失數據的立方塊作為目標塊c_t；2)選取與c_t相似度最高的候選塊作為幀內源塊c_s，并對幾何結構進行位置匹配，得到最終的幀內源塊3)在P_f?1、P_f+1中找到與c_t相對位置相同的塊c′_t、c″_t；4)在c′_t、c″_t的包圍盒中搜索c_t中每個點的最近鄰點；5)尋找P_f?1、P_f+1中包含c_t的最近鄰點最多的立方塊，作為幀間源塊并對幾何結構進行位置匹配，得到幀間源塊6)利用和修復c_t。

技術領域

本發明屬于圖信號處理領域，涉及一種點云修復方法，尤其涉及基于圖信號處理的三維動態點云修復方法。

背景技術

使用三維掃描儀和深度感測設備采集到的動態點云數據會不可避免地產生數據誤差：對于一些掃描不到的區域，在掃描結果中會以缺失數據的孔洞的形式呈現。缺失數據的原因包括由于掃描角度的不完全，激光掃描儀本身的局限性，物體幾何結構過于復雜繁復，以及物體運動變化太快等。

目前還沒有關于動態點云修復的算法，但有一些靜態點云修復的算法，可以通過對動態點云中的每一幀含有缺失區域的靜態點云應用這些算法，實現動態點云修復。這些靜態點云修復算法主要分為兩類：修復物體本身的缺失區域，修復在采集過程中產生的缺失區域，和修復特殊數據。

修復物體本身的缺失區域的方法的缺失區域一般比較大，主要依賴線上數據庫作為填充內容的參考。Sahay等人先嘗試通過參考缺失區域周圍的幾何信息，從已有的點云庫中尋找相似數據進行填充；后又提出另一種將點云投影到深度圖上的方法，使用字典學習從在線的深度圖數據庫中搜索相似的深度圖，將未知部分對應的信息粘貼到空缺區域，最后將補好的深度圖投影回點云。此類方法對被搜索的數據庫要求較高，需要足夠的與待修補點云相似的序列，且直接填充難免在銜接處產生幾何結構的不對齊，這是在最后平滑處理時難以解決的問題。此外，在深度圖方法中的兩次投影過程將不可避免地產生幾何結構的損失。另外，Shankar等人通過提取孔洞周圍的邊界點來提取其幾何特征，擬合缺失部分的曲面后采樣插值得到填充的點。Dinesh等人先確定缺失區域的修復順序，然后基于最小的旋轉差異搜索最佳匹配區域來填充缺失區域。這類方法由于參考的數據來源單一，結果不可避免地有幾何失真。

修復在采集過程中產生的缺失區域方法關注的是由于掃描設備的限制而產生的孔洞。這種孔洞通常要比上一類的孔洞小，因此數據本身的信息通常足以用于修復，一般通過對缺失區域周圍的點的分析來預測缺失區域內部的幾何結構。例如Quinsat等人和Wang等人基于輸入點云創建三角形網格，然后基于孔附近的網格結構在孔洞上構建網格，最后對缺失區域進行插值得到點。但這類方法的結果依賴于網格構造的質量，并且構建網格過程的計算復雜度很高。另外，Lozes等人提出了通過偏微分方法求解孔洞周圍點云的優化方程來進行修補的方法；Lin等人則將孔洞分解為幾個子洞后，分別利用張量投票方法提取幾何特征單獨填充；Muraki等人在孔洞附近擬合了一個曲面并進行插值來進行修復。以上的方法由于僅參考了局部的鄰域信息，所以其修補結果比實際內容要更趨于平面。而且當幾何結構復雜時，在邊界附近可能會出現偽影。

此外，還有一些針對靜態點云的工作處理具有特殊數據形式的點云數據。例如，Friedman的方法中的建筑物的幾何規則點云，Li的方法中的掃描線數據，Wu的方法中的人體數據中扁平的條狀孔洞。這類方法具有較強的數據針對性，不適用于其他形式的點云。

發明內容

針對上述問題和相關方法的缺陷，本發明提出了一種基于圖信號處理的三維動態點云修復方法。