[發明專利]基于圖像的點云補全方法及系統

有效

• 申請號: 202110204647.6
• 申請日: 2021-02-23
• 公開（公告）號: CN113160068B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 趙曦濱;張軒誠;高躍
• 申請（專利權）人: 清華大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/50
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 韓海花

1.一種基于圖像的點云補全方法，其特征在于，包括以下步驟：

獲取目標物體的單張真彩RGB圖像，并采集所述目標物體在不同場景下的殘缺點云，以及利用點云重建神經網絡對所述RGB圖像進行點云重建，獲取具有完整輪廓的稀疏點云；

使用相機外參矩陣將所述稀疏點云與所述殘缺點云進行對齊以使統一至同一視角，并將所述稀疏點云與所述殘缺點云進行合并，并使用最遠點采樣方式進行采樣，獲取粗點云；

使用倒角距離計算所述粗點云與所述殘缺點云之間的最近鄰點距離，根據所述最近鄰點距離和閾值，獲取精細點云區域與粗糙點云區域；

針對所述精細點云區域與所述粗糙點云區域分別使用動態位移預測方法預測不同長度的位移向量，將所述位移向量分別與不同的點云進行相加，獲取強化后的精細點云區域與粗糙點云區域；

將所述強化后的精細點云區域與粗糙點云區域進行合并，獲取高精度點云；

所述針對所述精細點云區域與所述粗糙點云區域分別使用動態位移預測方法預測不同長度的位移向量，將所述位移向量分別與不同的點云進行相加，獲取強化后的精細點云區域與粗糙點云區域，包括:

獲取點云三維特征、視圖二維特征、粗點云全局特征融合處理，獲取融合特征；

構建動態位移預測器對所述精細點云區域，依據輸入的融合特征預測小尺度的位移向量，與所述精細點云區域自身的空間坐標相加，獲取強化后的精細點云區域；

所述動態位移預測器對于粗糙點云區域，依據輸入的融合特征預測大尺度的位移向量，與所述粗糙點云區域自身的空間坐標相加，獲取強化后的粗糙點云區域。

2.如權利要求1所述的方法，其特征在于，采集所述目標物體在不同場景下的殘缺點云，包括：

使用深度相機或激光雷達從所述目標物體在自我遮擋場景下進行拍攝，獲取殘缺點云；和/或，

使用深度相機或激光雷達從所述目標物體在自我遮擋和相互遮擋場景下進行拍攝，獲取殘缺點云；其中，每一個點為三元組(x,y,z)，點云整體表示為其中，P表示所述目標物體的三維結構，N表示點云的點數。

3.如權利要求1所述的方法，其特征在于，所述利用點云重建神經網絡對所述RGB圖像進行點云重建，獲取具有完整輪廓的稀疏點云，包括：

使用一系列卷積構建圖像編碼器，提取所述RGB圖像的圖像特征，將所述圖像特征編碼為隱空間向量；

使用一系列反卷積作為點云解碼器，將所述隱空間向量恢復為粗糙重建點云，獲取所述具有完整輪廓的稀疏點云。

4.如權利要求1所述的方法，其特征在于，所述倒角距離定義為：

其中，P與Q為兩個空間內的兩個點集，倒角距離描述了兩個點云之間最近點間的距離；

所述使用倒角距離計算所述粗點云與所述殘缺點云之間的最近鄰點距離，根據所述最近鄰點距離和閾值，獲取精細點云區域與粗糙點云區域，包括：

將所述粗點云劃分為兩部分，使用公式(1)計算所述點云的兩部分之間的最近鄰點距離的平均值作為所述閾值，使用公式(1)計算所述粗點云與所述殘缺點云之間的最近鄰點距離，其中，最近鄰點距離小于所述閾值的為精細點云，獲取所述精細點云區域與所述粗糙點云區域。