[發明專利]一種融合場景語義的室外單目同步建圖與定位方法

有效

• 申請號: 202110023602.9
• 申請日: 2021-01-08
• 公開（公告）號: CN112734845B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 項志宇;閉云峰;錢琦;白庭銘;鐘文祺
• 申請（專利權）人: 浙江大學;華為技術有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/80;G06V10/26;G06V10/40;G06V10/75;G06V10/774;G06V10/80;G06K9/62;G06F16/29
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

本發明公開了一種融合場景語義的室外單目同步建圖與定位方法。獲取訓練數據集，構建訓練實時語義分割網絡，接收單目相機圖像輸出語義分割結果圖，獲得語義類別標簽；實時通過SLAM前端模塊的視覺里程計接收單目相機圖像，獲取特征點和描述子，組建語義特征點；利用語義特征點建立語義地圖，匹配更新語義地圖點的語義類別標簽統計信息；在SLAM后端模塊接收不同時刻視覺里程計測量的單目相機位姿，利用位姿構建最小二乘優化重投影誤差時，加入語義權重優化。本發明將場景語義融入到SLAM系統中，根據語義分割結果進行動態物體濾除，根據語義類別標簽為特征點分配不同的優化權重，有效提升了整個SLAM系統的定位精度，計算代價小，實時性強。

技術領域

本發明涉及一種移動機器人或智能車輛的建圖和定位方法，特別是涉及了一種融合了場景語義信息的移動機器人或智能車輛的建圖和定位(SLAM)方法。

背景技術

SLAM，全稱為Simultaneous localization and mapping，譯為同步建圖與定位，希望機器人從未知環境的未知地點出發，在運動過程中通過重復觀測到的地圖特征，定位自身位置和姿態，再根據自身位置增量式的構建地圖，從而達到同時定位和地圖構建的目的。單目SLAM算法擁有較長的研究歷史，其因為設備要求簡單而得到較為廣泛的使用。

傳統框架如ORB-SLAM在很多場景中展現出了較好的性能。但是，因為ORB依舊基于圖像的灰度特征來提取特征點，因此對于光照的變化而產生的圖像灰度變化還是比較敏感，同時，在傳統SLAM框架中并沒有考慮特征點的重要性與所在物體的語義類別的相關性。表現在：提取到的特征點在動態物體，比如人和車上時，SLAM計算的相機位姿就很容易受到影響；特征點都在靜態物體上時，不同的物體語義類別對特征定位精度也有不同的影響。隨著深度學習的發展，語義分割技術得到了突破，從圖像中挖掘出深層語義類別信息成為可能，語義SLAM將語義信息加入到傳統SLAM框架中，通過額外提供更高層次的語義信息輔助SLAM的計算，有助于提升SLAM的魯棒性，語義分割實時性的提升也使得語義SLAM能在更多對實時性有要求的領域發揮作用，如何更好地利用語義信息也成為近年來的研究重點。本發明通過對基于視覺特征的語義SLAM相關方法進行研究，通過基于深度學習的像素級語義分割網絡獲取語義信息，濾除動態目標，并在優化中加入語義權重提高優化精度，最后構建語義地圖。

發明內容

為了解決背景技術中存在的問題，本發明目的在于提供一種融合場景語義的室外單目同步建圖與定位方法，適用于面向室外復雜環境下的視覺建圖和定位問題。

本發明在傳統單目SLAM技術的支持下，獲取特征點的幾何信息和描述子，依靠實時語義分割網絡獲取語義分割結果圖，獲得具有語義類別標簽的語義特征點，在后端優化時，使用語義權重用于當前幀位姿計算，用于閉環檢測時兩幀之間相對位姿計算，用于局部地圖優化調整和用于全局地圖優化，以提升定位效果，使定位更加精確。

本發明采用的技術方案的步驟如下：

本發明方法包括以下幾個模塊：

SLAM前端模塊，包括實時語義分割網絡和視覺里程計，持續接收單目相機捕獲的圖像，提取語義特征點；用于室外場景的實時語義分割網絡，接收單目相機捕獲的圖像，輸出語義分割結果圖，根據語義分割結果圖獲得語義類別標簽；

SLAM建圖模塊，通過語義特征點得到語義地圖點，建立語義地圖。

SLAM后端模塊，利用語義類別標簽加上語義權重進行BA(bundle adjustment)優化獲得同步建圖與定位的結果。

(1)獲取與實際運行場景相同的訓練數據集，構建并訓練實時語義分割網絡，將訓練后的實時語義分割網絡接收單目相機捕獲的圖像輸出語義分割結果圖，通過語義分割結果圖獲得各個像素的語義類別標簽；