[發明專利]一種基于語義分割的SLAM回環檢測改進方法

有效

• 申請號: 202011521872.4
• 申請日: 2020-12-21
• 公開（公告）號: CN112508985B
• 公開（公告）日: 2022-12-16
• 發明（設計）人: 王博;吳忻生;陳安;陳純玉;楊璞光
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T7/13
• 分類號: G06T7/13;G06T7/73;G06F16/587;G06N3/04
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍;江裕強

本發明公開一種基于語義分割的SLAM回環檢測改進方法，包括以下步驟：一、獲取道路場景語義分割的通用數據集；二、使用RGB攝像頭獲取環境圖像，在不同種環境狀況下采集道路環境圖像；三、獲取語義分割預測的各個像素的分類結果；四、根據分類結果，獲取語義分割圖中包含對應類別的對象特征向量；五、構建包含語義信息的地點模型；六、通用數據集中的圖像經過地點模型分析得到語義地點向量，創建地點的圖像庫，存入包含地點語義信息的向量，七、匹配待檢測圖像和圖像庫中圖像的相似度；八、進行閉環檢測，如果找到相似度超過閾值的向量，則代表當前圖像是閉環節點，否則把當前圖像加入到已有的圖像庫中。

技術領域

本發明涉及語義分割及SLAM技術領域，具體涉及一種基于深度學習的SLAM回環檢測的改進方法。

背景技術

即時定位與地圖構建(simultaneous localization and mapping，SLAM)是指車輛在無人操控的情況下在陌生環境中依靠自身攜帶的傳感器估計自身的位置同時構建地圖的過程。它是很多機器人應用場景如環境感知，避障導航等的先決條件，根據其使用的傳感器不同分為激光SLAM和視覺SLAM。因為視覺SLAM成本較低，同時圖片攜帶有豐富的紋理信息所以使用較廣泛。通過對圖片進行深度學習計算，可以得到環境中的語義信息。

SLAM分為傳感器獲取數據，視覺里程計分析計算，后端優化同時對傳感器采集信息判斷是否是已檢測的信息完成閉環檢測防止導航偏移。并進行構圖的過程。由于視覺傳感器在感知周圍環境的過程中，可能會出現累計漂移的問題。所以回環檢測的主要作用就是判斷車輛是否構成閉環，從而使用全局優化模塊修正估計的位姿以及建立的地圖。本發明主要討論的就是閉環檢測過程中如何提高檢測精度的方法(仉新.移動機器人同時定位與地圖構建系統的算法研究[D].沈陽工業大學,2020.)。

在視覺SLAM技術使用的過程中，遇到的主要挑戰就是由于環境的改變而造成回環檢測的準確率下降，其中環境條件的改變包括環境光照條件的變化如四季更替和晝夜變化。環境的變化還體現在攝像機拍攝到的圖片可能存在角度的變化。角度的微小改變都可能使得無人車的導航發生改變。如何提取到對光照和視角魯棒性都很強的特征就成了研究的熱門問題。傳統方法是使用BoW(視覺詞袋模型(Bag of Words)。具體做法是將圖片進行手工特征采集，然后將每一個局部特征描述子轉換為一個單詞，對整張圖像的單詞統計就得到相應的詞袋向量。對比不同的詞袋向量的差異就得到閉環檢測的結果。通過k近鄰算法聚類來構建的地點描述向量是對圖片信息的抽象表示，一定程度上體現了圖片的全局信息，但是這種方法不能表現聚類中心的類別信息，同時不能分辨聚類點是否是參照物。在實際環境中，有可能存在運動的物體如行人，運動的車輛等，把其作為聚類點明顯會對場景的描述發生偏差。在圖像規模比較大的情況下，由于視覺詞匯表單詞大小的限制，BoW算法對圖像的表示會越來越粗糙，編碼后損失的圖像信息較多，檢索精度也隨之而降低(劉威.應用于移動機器人視覺SLAM的地點識別研究[D].杭州電子科技大學,2019.)。

為了提高SLAM系統中閉環檢測的魯棒性，融合深度學習的檢測方法逐漸成為國內外一個重要的研究內容。因此，如何利用深度學習提高視覺SLAM中閉環檢測魯棒性就成為亟待解決的技術問題。

發明內容

本發明要解決的技術問題是：如何通過深度學習最新研究成果構建地點模型用于提高閉環檢測的魯棒性。克服基于特征的方法只能建立視覺詞袋向量，沒有對象語義信息和相互關系信息的缺點。

本發明至少通過如下技術方案之一實現。

一種基于語義分割的SLAM回環檢測改進方法，包括以下步驟：

步驟一、獲取道路場景語義分割的通用數據集，將該通用數據集按照劃分為訓練集、測試集、驗證集；

步驟二、使用RGB攝像頭獲取環境圖像，在不同種環境狀況下采集道路環境圖像；