[發(fā)明專(zhuān)利]結(jié)合注意力機(jī)制及三維圖卷積網(wǎng)絡(luò)的點(diǎn)云配準(zhǔn)模型及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010717508.9
• 申請(qǐng)日: 2020-07-23
• 公開(kāi)（公告）號(hào): CN111882593B
• 公開(kāi)（公告）日: 2022-06-17
• 發(fā)明（設(shè)計(jì)）人: 張振鑫;孫瀾;鐘若飛;李小娟;宮輝力;鄒建軍
• 申請(qǐng)（專(zhuān)利權(quán)）人: 首都師范大學(xué)
• 主分類(lèi)號(hào): G06T7/33
• 分類(lèi)號(hào): G06T7/33;G06K9/62;G06V10/774;G06V10/764;G06N3/04
• 代理公司: 蘇州科洲知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 32435
• 代理人: 周亮

1.一種結(jié)合注意力機(jī)制及三維圖卷積網(wǎng)絡(luò)的點(diǎn)云配準(zhǔn)模型的配準(zhǔn)方法，其特征在于，包括以下步驟：先進(jìn)行模型訓(xùn)練，利用feature alignment triplet loss構(gòu)造損失函數(shù)訓(xùn)練該模型，有效地從點(diǎn)云中提取注意力特征和描述子(Descriptor)特征；模型訓(xùn)練后，進(jìn)行點(diǎn)云配準(zhǔn)；

所述模型為一個(gè)三分支的暹羅(Siamese)架構(gòu)，包括Detector模型和Descriptor模型，所述Detector模型用于提取點(diǎn)的注意力特征，構(gòu)造注意力機(jī)制；所述Descriptor模型用于生成三維深度特征的表達(dá)式來(lái)表示點(diǎn)的三維深度特征，學(xué)習(xí)判別點(diǎn)云的深度特征；

所述Detector模型主要通過(guò)一個(gè)基于譜域的圖卷積網(wǎng)絡(luò)模塊MLP_GCN提取生成點(diǎn)云的注意力特征，在Detector模型的MLP_GCN模塊中使用5個(gè)完整的連接層來(lái)提取初始點(diǎn)云特征，進(jìn)一步實(shí)現(xiàn)點(diǎn)云特征提取功能；

所述Descriptor模型，首先使用PointNet++中點(diǎn)集提取的set abstraction(SA)模塊來(lái)提取點(diǎn)云的初始特征，然后將兩個(gè)基于譜域的圖卷積網(wǎng)絡(luò)模塊MLP_GCN連接起來(lái)，從而提高網(wǎng)絡(luò)的深度和性能，得到最終的三維深度特征；

所述點(diǎn)云配準(zhǔn)包括以下步驟：

從兩組點(diǎn)云的每組中均勻采樣Pm點(diǎn)，并在Pm點(diǎn)中搜索每點(diǎn)最近的n個(gè)點(diǎn)，形成每組點(diǎn)云的Pm點(diǎn)集；將這些點(diǎn)集放入模型中，生成每個(gè)點(diǎn)集中的深度特征和每個(gè)點(diǎn)注意力特征；

每個(gè)點(diǎn)的注意力特征利用L₂-范數(shù)值來(lái)確定該點(diǎn)是否在其鄰域內(nèi)為最大值，如果是最大值，則將其添加到關(guān)鍵點(diǎn)(keypoint)隊(duì)列，由此可以得到兩組點(diǎn)云的關(guān)鍵點(diǎn)；

將得到的關(guān)鍵點(diǎn)的注意力值進(jìn)行排序，選取前P_k個(gè)點(diǎn)為關(guān)鍵點(diǎn)；

根據(jù)每個(gè)最終的關(guān)鍵點(diǎn)搜索它們各自的n個(gè)最近鄰點(diǎn)，以獲得最終的P_k點(diǎn)集，將最終的點(diǎn)集輸入模型，得到P_k點(diǎn)集中每個(gè)點(diǎn)的深度特征向量；

根據(jù)點(diǎn)集中每個(gè)點(diǎn)的深度特征，確定另一個(gè)點(diǎn)云中具有最接近歐幾里德距離的對(duì)應(yīng)深度特征，進(jìn)而得到2×n×P_k點(diǎn)云匹配點(diǎn)對(duì)；

利用RANSAC算法去除匹配點(diǎn)集中的粗差；

采用最小二乘法計(jì)算旋轉(zhuǎn)矩陣，得到配準(zhǔn)結(jié)果。

2.根據(jù)權(quán)利要求1所述的結(jié)合注意力機(jī)制及三維圖卷積網(wǎng)絡(luò)的點(diǎn)云配準(zhǔn)模型的配準(zhǔn)方法，其特征在于，兩個(gè)基于譜域的圖卷積網(wǎng)絡(luò)模塊MLP_GCN，其中，第一個(gè)MLP_GCN連接3個(gè)全連接層，輸出特征維數(shù)為n×128；第二個(gè)MLP_GCN連接3個(gè)全連接層，輸出特征維數(shù)為n×256。

3.根據(jù)權(quán)利要求2所述的結(jié)合注意力機(jī)制及三維圖卷積網(wǎng)絡(luò)的點(diǎn)云配準(zhǔn)模型的配準(zhǔn)方法，其特征在于，所述MLP_GCN結(jié)合了多層感知器MLP和圖卷積網(wǎng)絡(luò)GCN，能夠有效地提取基于輸入點(diǎn)云坐標(biāo)的深度特征，提高特征的反旋轉(zhuǎn)不變性和鑒別性。

4.根據(jù)權(quán)利要求3所述的結(jié)合注意力機(jī)制及三維圖卷積網(wǎng)絡(luò)的點(diǎn)云配準(zhǔn)模型的配準(zhǔn)方法，其特征在于，所述MLP_GCN是使用PointNet++的采樣和分組層來(lái)構(gòu)建的，并連接3個(gè)完整的連接層以提取點(diǎn)云特征X^n×128。

5.根據(jù)權(quán)利要求4所述的結(jié)合注意力機(jī)制及三維圖卷積網(wǎng)絡(luò)的點(diǎn)云配準(zhǔn)模型的配準(zhǔn)方法，其特征在于，所述MLP_GCN的輸入是點(diǎn)集，每個(gè)點(diǎn)集的點(diǎn)數(shù)為n，在一個(gè)點(diǎn)集中搜索每個(gè)點(diǎn)的最近K個(gè)點(diǎn)，并將每個(gè)點(diǎn)與其各自最近的K個(gè)點(diǎn)連接起來(lái)以形成邊，從而建立了圖G，再構(gòu)造鄰接矩陣A和深度矩陣D，計(jì)算拉普拉斯矩陣L^n×n；將卷積核的參數(shù)W設(shè)置為C_n×m，C_n為點(diǎn)云的特征長(zhǎng)度，m為圖卷積的輸出特征維度，得到L·X·W值作為輸出；最后，連接一個(gè)最大池化層以獲得點(diǎn)云的深度學(xué)習(xí)特征。

6.根據(jù)權(quán)利要求1所述的結(jié)合注意力機(jī)制及三維圖卷積網(wǎng)絡(luò)的點(diǎn)云配準(zhǔn)模型的配準(zhǔn)方法，其特征在于，所述模型訓(xùn)練包括以下步驟：

自動(dòng)構(gòu)造匹配點(diǎn)對(duì)和非匹配點(diǎn)對(duì)，從一個(gè)數(shù)據(jù)集中選擇一點(diǎn)，從另的一個(gè)數(shù)據(jù)集中取對(duì)應(yīng)一點(diǎn)構(gòu)成匹配點(diǎn)對(duì)，將配準(zhǔn)前的點(diǎn)稱(chēng)為anchor，配準(zhǔn)后的點(diǎn)稱(chēng)為positive，然后隨機(jī)的選取一個(gè)不是anchor和positive的點(diǎn)稱(chēng)其為negative，使其與anchor點(diǎn)形成非匹配點(diǎn)對(duì)；

用K最近鄰(K-NearestNeighbor,KNN)算法分別搜索anchor點(diǎn)、positive點(diǎn)和negative點(diǎn)的K個(gè)最近鄰，形成三個(gè)點(diǎn)集，作為深度學(xué)習(xí)網(wǎng)絡(luò)的輸入；

通過(guò)模型得到anchor、positive和negative的深度特征和注意力特征；

將上述特征加入到特征Feature Alignment Triplet Loss損失函數(shù)中以?xún)?yōu)化特征并訓(xùn)練模型。