[發(fā)明專(zhuān)利]一種基于特征學(xué)習(xí)的端到端點(diǎn)云配準(zhǔn)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110358537.5
• 申請(qǐng)日: 2021-04-02
• 公開(kāi)（公告）號(hào): CN113077501B
• 公開(kāi)（公告）日: 2022-05-27
• 發(fā)明（設(shè)計(jì)）人: 宋亞楠;沈衛(wèi)明;陳剛
• 申請(qǐng)（專(zhuān)利權(quán)）人: 浙江大學(xué)計(jì)算機(jī)創(chuàng)新技術(shù)研究院
• 主分類(lèi)號(hào): G06T7/33
• 分類(lèi)號(hào): G06T7/33;G06N3/04;G06N3/08
• 代理公司: 杭州求是專(zhuān)利事務(wù)所有限公司 33200
• 代理人: 林超

本發(fā)明公開(kāi)了一種基于特征學(xué)習(xí)的端到端點(diǎn)云配準(zhǔn)方法。利用點(diǎn)云中每個(gè)點(diǎn)的鄰域點(diǎn)構(gòu)建該點(diǎn)的局部幾何特征，并利用每個(gè)點(diǎn)的空間坐標(biāo)、法向信息以及局部幾何特征構(gòu)建該點(diǎn)的混合特征；建立同時(shí)處理模板點(diǎn)云和源點(diǎn)云的端到端點(diǎn)云配準(zhǔn)深度學(xué)習(xí)網(wǎng)絡(luò)；設(shè)計(jì)平移損失函數(shù)和旋轉(zhuǎn)損失函數(shù)，在兩個(gè)損失函數(shù)共同監(jiān)督下完成點(diǎn)云配準(zhǔn)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)。本發(fā)明提出的基于特征學(xué)習(xí)的端到端點(diǎn)云配準(zhǔn)方法對(duì)剛體變換的初始位置不敏感，降低了算法陷入局部最優(yōu)解的概率，能有效提升點(diǎn)云配準(zhǔn)的精度和效率。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)人工智能和三維點(diǎn)云配準(zhǔn)領(lǐng)域的一種物理點(diǎn)云處理方法，特別涉及一種基于特征學(xué)習(xí)的端到端點(diǎn)云配準(zhǔn)方法。

背景技術(shù)

點(diǎn)云配準(zhǔn)任務(wù)主要是尋找兩片未知對(duì)應(yīng)關(guān)系點(diǎn)云之間的剛體變換，廣泛應(yīng)用于逆向工程、尺寸測(cè)量、機(jī)器人等領(lǐng)域。點(diǎn)云的無(wú)序性以及不同點(diǎn)云之間復(fù)雜的初始對(duì)應(yīng)關(guān)系增加了點(diǎn)云配準(zhǔn)的難度。迭代最近點(diǎn)(Iterative Closest Point,ICP)算法及其變種算法是被廣泛使用的有效點(diǎn)云配準(zhǔn)方法，但是該方法對(duì)點(diǎn)云對(duì)的初始對(duì)應(yīng)位置非常敏感，容易陷入局部最優(yōu)。另外，不斷迭代的方式降低了算法的計(jì)算效率。隨著深度學(xué)習(xí)方法在點(diǎn)云分類(lèi)、分割等領(lǐng)域的有效使用，基于深度學(xué)習(xí)的點(diǎn)云配準(zhǔn)方法也受到了極大關(guān)注。然而，這些方法主要用來(lái)尋找點(diǎn)云的對(duì)應(yīng)關(guān)系，不能直接生成點(diǎn)云對(duì)之間的轉(zhuǎn)換矩陣，增加了算法的復(fù)雜度。

發(fā)明內(nèi)容

為了解決背景技術(shù)中存在的問(wèn)題，本發(fā)明的目的是為了解決背景技術(shù)而提出的一種基于特征學(xué)習(xí)的端到端點(diǎn)云配準(zhǔn)方法，能夠適應(yīng)不同初始對(duì)應(yīng)關(guān)系的點(diǎn)云配準(zhǔn)任務(wù)，對(duì)噪聲具有較強(qiáng)的魯棒性，避免算法陷入局部最優(yōu)，有利于提高點(diǎn)云配準(zhǔn)的精度。另外，端到端的點(diǎn)云配準(zhǔn)網(wǎng)絡(luò)不需要計(jì)算最近點(diǎn)的對(duì)應(yīng)關(guān)系，直接輸出點(diǎn)云對(duì)之間的轉(zhuǎn)換矩陣，實(shí)現(xiàn)了點(diǎn)云對(duì)的高效配準(zhǔn)。

本發(fā)明包括構(gòu)建點(diǎn)云混合特征以及構(gòu)建點(diǎn)云配準(zhǔn)網(wǎng)絡(luò)兩個(gè)部分。首先利用點(diǎn)云中每個(gè)點(diǎn)的鄰域點(diǎn)構(gòu)建該點(diǎn)的局部幾何特征，并利用每個(gè)點(diǎn)的空間坐標(biāo)、法向信息以及局部幾何特征構(gòu)建該點(diǎn)的混合特征。然后設(shè)計(jì)一個(gè)同時(shí)處理模板點(diǎn)云和源點(diǎn)云的端到端點(diǎn)云配準(zhǔn)深度學(xué)習(xí)網(wǎng)絡(luò)。最后設(shè)計(jì)平移損失函數(shù)和旋轉(zhuǎn)損失函數(shù)，在兩個(gè)損失函數(shù)共同監(jiān)督下完成點(diǎn)云配準(zhǔn)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用的具體技術(shù)方案為：

步驟1：構(gòu)建混合特征構(gòu)建網(wǎng)絡(luò)，通過(guò)混合特征構(gòu)建網(wǎng)絡(luò)獲得待測(cè)物體的點(diǎn)云的混合特征；

步驟2：基于混合特征構(gòu)建網(wǎng)絡(luò)構(gòu)建基于特征學(xué)習(xí)的端到端點(diǎn)云配準(zhǔn)網(wǎng)絡(luò)，端到端點(diǎn)云配準(zhǔn)網(wǎng)絡(luò)包含了混合特征構(gòu)建網(wǎng)絡(luò)；

步驟3：訓(xùn)練構(gòu)建的點(diǎn)云配準(zhǔn)網(wǎng)絡(luò)，且點(diǎn)云配準(zhǔn)網(wǎng)絡(luò)在平移損失函數(shù)和旋轉(zhuǎn)損失函數(shù)共同監(jiān)督下訓(xùn)練；

步驟4：利用訓(xùn)練完成后的點(diǎn)云配準(zhǔn)網(wǎng)絡(luò)的結(jié)果直接用于預(yù)測(cè)點(diǎn)云對(duì)之間的變換。

本發(fā)明所述的預(yù)測(cè)點(diǎn)云對(duì)分為模板點(diǎn)云和源點(diǎn)云，模板點(diǎn)云為預(yù)先設(shè)定的物體的標(biāo)準(zhǔn)設(shè)計(jì)點(diǎn)云，由物體的標(biāo)準(zhǔn)三維模型獲得。源點(diǎn)云為掃描測(cè)量的物體點(diǎn)云，通過(guò)三維掃描設(shè)備采集并經(jīng)點(diǎn)云化處理后獲得，如深度相機(jī)。

本發(fā)明所述的待測(cè)物體為實(shí)際世界中真實(shí)存在的物體，可以為機(jī)械零件、桌子、椅子等生活用品，但不限于此。

所述步驟1具體為：

步驟1.1：采集待測(cè)物體的點(diǎn)云，點(diǎn)云的每個(gè)點(diǎn)均為編碼點(diǎn)，以每個(gè)編碼點(diǎn)為中心在點(diǎn)云中構(gòu)建球形區(qū)域；

步驟1.2：在構(gòu)建的球形區(qū)域中隨機(jī)選擇k個(gè)相鄰的編碼點(diǎn)作為鄰域點(diǎn)；

步驟1.3：構(gòu)建編碼點(diǎn)的局部幾何特征；

利用步驟2中采集的鄰域點(diǎn)，按照本發(fā)明提出的局部幾何特征計(jì)算方法，獲得每個(gè)鄰域點(diǎn)對(duì)編碼點(diǎn)的貢獻(xiàn)值大小作為局部幾何特征。

步驟1.4：構(gòu)建編碼點(diǎn)的混合特征：