[發(fā)明專利]一種端到端無監(jiān)督激光里程計與語義分割結(jié)合的方法

在審

• 申請?zhí)枺?/td>: 202310325830.0
• 申請日: 2023-03-30
• 公開（公告）號: CN116342883A
• 公開（公告）日: 2023-06-27
• 發(fā)明（設(shè)計）人: 葉海峰;龔小謹
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/20;G06V10/774
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 林超

1.一種端到端無監(jiān)督激光里程計與語義分割結(jié)合的方法，其特征在于，包含如下步驟：

步驟1：對采集的點云數(shù)據(jù)進行預(yù)處理后，獲得訓(xùn)練集；

步驟2：搭建激光里程計與語義分割網(wǎng)絡(luò)，構(gòu)建網(wǎng)絡(luò)損失函數(shù)，基于網(wǎng)絡(luò)損失函數(shù)，利用訓(xùn)練集對激光里程計與語義分割網(wǎng)絡(luò)進行訓(xùn)練，獲得訓(xùn)練好的激光里程計與語義分割網(wǎng)絡(luò)；

步驟3：將待預(yù)測的相鄰兩幀頂點圖輸入訓(xùn)練好的激光里程計與語義分割網(wǎng)絡(luò)中，預(yù)測輸出當(dāng)前兩幀的語義分割結(jié)果和對應(yīng)的幀間位姿。

2.根據(jù)權(quán)利要求1所述的一種端到端無監(jiān)督激光里程計與語義分割結(jié)合的方法，其特征在于，所述步驟1具體為：

將相鄰兩幀點云分別投影到球面坐標(biāo)系下，獲得對應(yīng)的兩幀頂點圖；遍歷剩余相鄰兩幀點云，均進行球面投影，最終獲得所有組網(wǎng)絡(luò)輸入并組成訓(xùn)練集。

3.根據(jù)權(quán)利要求1所述的一種端到端無監(jiān)督激光里程計與語義分割結(jié)合的方法，其特征在于，所述步驟2中，激光里程計與語義分割網(wǎng)絡(luò)包括兩個骨干網(wǎng)絡(luò)、兩個語義分割網(wǎng)絡(luò)、特征聚合模塊、不確定度預(yù)測模塊和位姿預(yù)測網(wǎng)絡(luò)；

第一骨干網(wǎng)絡(luò)與第一語義分割網(wǎng)絡(luò)相連，第二骨干網(wǎng)絡(luò)與第二語義分割網(wǎng)絡(luò)相連，第一骨干網(wǎng)絡(luò)和第二骨干網(wǎng)絡(luò)均與特征聚合模塊相連，第一語義分割網(wǎng)絡(luò)和第二語義分割網(wǎng)絡(luò)均與特征聚合模塊相連，特征聚合模塊與不確定度預(yù)測模塊和位姿預(yù)測網(wǎng)絡(luò)相連，前一幀頂點圖輸入到第一語義分割網(wǎng)絡(luò)中，第一語義分割網(wǎng)絡(luò)輸出前一幀的語義分割結(jié)果，后一幀頂點圖輸入到第二語義分割網(wǎng)絡(luò)中，第二語義分割網(wǎng)絡(luò)輸出后一幀的語義分割結(jié)果，不確定度預(yù)測模塊輸出不確定度圖，位姿預(yù)測網(wǎng)絡(luò)輸出預(yù)測幀間位姿。

4.根據(jù)權(quán)利要求3所述的一種端到端無監(jiān)督激光里程計與語義分割結(jié)合的方法，其特征在于，所述第一骨干網(wǎng)絡(luò)與第二骨干網(wǎng)絡(luò)為孿生網(wǎng)絡(luò)，第一語義分割網(wǎng)絡(luò)與第二語義分割網(wǎng)絡(luò)為孿生網(wǎng)絡(luò)，具體地，第一骨干網(wǎng)絡(luò)包括五個降采樣模塊，第一語義分割網(wǎng)絡(luò)包括五個上采樣模塊，第一-第五降采樣模塊依次相連，第一-第五上采樣模塊依次相連，第五上采樣模塊與特征聚合模塊相連，第一降采樣模塊與第五上采樣模塊相連，第一降采樣模塊與特征聚合模塊相連，第二降采樣模塊與第四上采樣模塊相連，第二降采樣模塊與特征聚合模塊相連，第三降采樣模塊與第三上采樣模塊相連，第三降采樣模塊與特征聚合模塊相連，第四降采樣模塊與第二上采樣模塊相連，第四降采樣模塊與特征聚合模塊相連，第五降采樣模塊與第一上采樣模塊相連，第五降采樣模塊與特征聚合模塊相連，第五上采樣模塊輸出語義分割結(jié)果。

5.根據(jù)權(quán)利要求3所述的一種端到端無監(jiān)督激光里程計與語義分割結(jié)合的方法，其特征在于，所述特征聚合模塊包括至少一個自注意力組合模塊，每個自注意力組合模塊包括兩個自注意力機制和一個跨自注意力機制，第一骨干網(wǎng)絡(luò)的輸出以及第一語義分割網(wǎng)絡(luò)的輸出均輸入到每個自注意力組合模塊的第一自注意力機制中，第二骨干網(wǎng)絡(luò)的輸出以及第二語義分割網(wǎng)絡(luò)的輸出均輸入到每個自注意力組合模塊的第二自注意力機制中，第一自注意力機制和第二自注意力機制均與跨自注意力機制相連，如果存在多個自注意力組合模塊，則將前一個自注意力組合模塊的輸出分別輸入到下一個自注意力組合模塊的第一自注意力機制和第二自注意力機制中，將最后一個自注意力組合模塊的輸出作為特征聚合模塊的輸出。

6.根據(jù)權(quán)利要求1所述的一種端到端無監(jiān)督激光里程計與語義分割結(jié)合的方法，其特征在于，所述步驟2中，網(wǎng)絡(luò)損失函數(shù)由激光里程計的損失函數(shù)和語義分割的損失函數(shù)相加獲得。