[發明專利]面向動態環境的語義分割與視覺SLAM緊耦合方法

有效

• 申請號: 201911045057.2
• 申請日: 2019-10-30
• 公開（公告）號: CN110827305B
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 陳龍;謝玉婷;張亞琛
• 申請（專利權）人: 中山大學
• 主分類號: G06T7/12
• 分類號: G06T7/12;G06T17/05;G06N3/04;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 王曉玲

本發明屬于機器人、計算機視覺、人工智能技術領域，更具體地，涉及一種面向動態環境的語義分割與視覺SLAM緊耦合方法。包括：S1.經過語義分割模塊輸出圖像的像素級語義分割結果和深度恢復結果；然后原圖像和每個像素點的語義標簽以及對應深度圖傳遞給視覺SLAM模塊；S2.視覺SLAM模塊利用這些信息獲知新圖像與序列中歷史圖像的數據關聯狀況，并將這個信息反饋回語義分割模塊；S3.語義分割模塊利用歷史圖像的分割結果及歷史圖像與新圖像幀之間的數據關聯狀況，優化新圖像幀的語義分割結果；S4.優化后的語義分割結果再一次傳送回視覺SLAM模塊，得到最終精細化的三維重建結果。本發明有效提升了語義分割的效果，從而進一步提高依賴于語義分割結果的SLAM性能。

技術領域

本發明屬于機器人、計算機視覺、人工智能技術領域，更具體地，涉及一種面向動態環境的語義分割與視覺SLAM緊耦合方法。

背景技術

Simultaneous Localization and Mapping(SLAM)即同步定位與建圖技術，指的是移動機器人在未知環境運動的過程中，構建周圍環境的地圖模型，同時定位出機器人自身在地圖中的位置。SLAM技術是機器人領域的關鍵技術之一，在無人駕駛、虛擬現實等領域有著廣闊應用前景。

在弱紋理、高動態和強光照等困難場景條件下，基于點特征或簡單幾何特征的傳統視覺SLAM方法容易失效。隨著機器學習技術的飛速發展，深度學習方法在分類識別等任務的卓越表現引人注目，將深度學習方法引入視覺SLAM方法具有巨大的應用潛能。

發明內容

本發明為克服上述現有技術中對于傳統SLAM方法在弱紋理、強光照和高動態的困難場景下易失效的缺陷，提供一種面向動態環境的語義分割與視覺 SLAM緊耦合方法，提升語義分割的效果，從而進一步提高依賴于語義分割結果的SLAM性能。

為解決上述技術問題，本發明采用的技術方案是：一種面向動態環境的語義分割與視覺SLAM緊耦合方法，包括以下步驟：

S1.經過語義分割模塊輸出圖像的像素級語義分割結果和深度恢復結果；然后原圖像和每個像素點的語義標簽以及對應深度圖傳遞給視覺SLAM模塊；

S2.視覺SLAM模塊利用這些信息獲知新圖像與序列中歷史圖像的數據關聯狀況，并將這個信息反饋回語義分割模塊；

S3.語義分割模塊利用歷史圖像的分割結果及歷史圖像與新圖像幀之間的數據關聯狀況，優化新圖像幀的語義分割結果；

S4.優化后的語義分割結果再一次傳送回視覺SLAM模塊，利用步驟S3中優化后的語義分割結果，作為最終的像素點語義標簽，配合SLAM模塊解算出的位姿結果，及深度恢復結果，生成輸出帶語義標簽的三維重建點云。

本發明通過融合語義分割網絡，引入語義標簽作為高層級特征，以達到提升 SLAM性能的目的；同時，通過SLAM反饋給語義分割結果提供時序上的數據關聯，提升語義分割的效果，從而進一步提高依賴于語義分割結果的SLAM性能。