[發(fā)明專利]一種基于顯示顏色和幾何信息的點云配準方法

在審

• 申請?zhí)枺?/td>: 202211326793.7
• 申請日: 2022-10-25
• 公開（公告）號: CN116664636A
• 公開（公告）日: 2023-08-29
• 發(fā)明（設(shè)計）人: 張羽
• 申請（專利權(quán)）人: 張羽
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06V10/56;G06V10/422;G06V10/46;G06V10/80;G06V10/82
• 代理公司: 保定運維知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 13133
• 代理人: 孫玉娣

本發(fā)明公開了一種基于顯示顏色和幾何信息的點云配準方法，本發(fā)明提出一種將顏色信號顯式嵌入到幾何表示中的點云配準方法。包括以下步驟：(1)獲取RGBD數(shù)據(jù)，(2)圖像對應(yīng)點匹配，(3)提取圖像對應(yīng)點周圍區(qū)域的特征，(4)將上述特征顯式投影到3D點云上，(5)基于上述融合特征尋找點云對應(yīng)點，(6)計算兩幀點云之間的旋轉(zhuǎn)和平移矩陣。與僅使用幾何表示的方法不同，本方法提出的2D?3D跨模態(tài)學習算法，將從顏色信號中學習到的特征顯式地嵌入到幾何表示中，重疊區(qū)域不僅可以從點云中推斷出來，還可以從紋理外觀中推斷出來。該方法與隱式地投影每個像素特征或顏色到點云上的方法，以及純點云的方法相比，能進一步提升配準精度。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機視覺，計算機圖形學領(lǐng)域，具體涉及一種針對點云的配準方法。

背景技術(shù)

目前較為常用的點云配準算法是迭代最近點算法(ICP算法，Besl?P?J,McKay?ND.Method?for?registration?of?3-D?shapes,Sensor?fusion?IV:control?paradigmsand?data?structures.SPIE,1992)，該算法的不足在于其依賴于一個較好的配準初值，否則迭代結(jié)果可能會陷入局部收斂。在一些配準初值較差或者待配準的兩個點云之間的重疊區(qū)域較小的場景里，迭代最近點算法常常無法取得令人滿意的結(jié)果，針對這一問題，一些基于深度學習的點云配準方法被陸續(xù)提出。文獻Predator(S.Huang,et.al.,Predator:Registration?of3dpoint?clouds?with?low?overlap.IEEE?Conference?on?ComputerVision?and?Pattern?Recognition,2021)探討了一種基于深度神經(jīng)網(wǎng)絡(luò)，采用首先找到對應(yīng)點，然后使用RANSAC估計兩幀點云之間的旋轉(zhuǎn)和平移矩陣的方法來實現(xiàn)配準。

通過找對應(yīng)點的方式對于計算兩幀之間的變換矩陣是必不可少的，并且對應(yīng)點只出現(xiàn)在重疊區(qū)域。在這種情況下，估計兩幀的重疊區(qū)域?qū)τ邳c云配準至關(guān)重要。直觀地說，我們不僅可以從點云等幾何輸入中識別重疊區(qū)域，還可以從圖像等顏色信號中識別重疊區(qū)域。然而，當前基于深度學習的點云配準方法僅使用幾何作為唯一的輸入。因此，探索如何結(jié)合RGB圖像的深度特征是有價值的。通過這種方式，各種現(xiàn)有的2D方法和預訓練模型也可以進一步用于3D點云配準任務(wù)。鑒于這一觀察，我們提出將顏色信號的深度特征顯式地嵌入到點云表示中，以便高效地預測配準任務(wù)中的對應(yīng)點，從而實現(xiàn)高精度的點云配準。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種點云配準方法，包括如下步驟：

步驟1，獲取RGBD數(shù)據(jù)；

步驟2，圖像對應(yīng)點匹配；

步驟3，提取圖像對應(yīng)點周圍區(qū)域的特征；

步驟4，將上述特征顯式投影到3D點云上；

步驟5，基于上述融合特征尋找點云對應(yīng)點；

步驟6，計算兩幀點云之間的旋轉(zhuǎn)和平移矩陣。

步驟1中，使用RGBD傳感器采集數(shù)據(jù)。

步驟2包括：

方法一：使用神經(jīng)網(wǎng)絡(luò)SuperGlue來預測圖像幀之間的像素對應(yīng)點，

方法二：使用傳統(tǒng)算法的特征描述子SIFT來預測圖像幀之間的像素對應(yīng)點。

步驟3中，使用2D預訓練網(wǎng)絡(luò)Pri3D實現(xiàn)圖像像素對應(yīng)點周圍區(qū)域的特征提取，提取以每個對應(yīng)點像素為中心的正方形區(qū)域的圖像特征。

步驟4中，根據(jù)相機內(nèi)參和變換矩陣，將對應(yīng)點像素為中心的區(qū)域經(jīng)2D預訓練網(wǎng)絡(luò)Pri3D提取的深度特征，顯式投影到3D點云上。