[發明專利]基于單目視覺的特征法與直接法相融合的SLAM方法

在審

• 申請號: 202011268432.2
• 申請日: 2020-11-13
• 公開（公告）號: CN112419497A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 張鵬;王磊;付忠霖;梁雄
• 申請（專利權）人: 天津大學
• 主分類號: G06T17/05
• 分類號: G06T17/05;G06T7/73;G06T5/50;G01C11/04;G01C21/00
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

本發明公開了一種基于單目視覺的特征法與直接法相融合的SLAM方法，包括：從灰度圖像中提取DSO特征，從DSO特征中提取ORB特征，分別對DSO特征和ORB特征進行特征對匹配處理；插入關鍵幀到局部地圖中，對現存地圖點進行更新，剔除冗余地圖點，從關鍵幀中提取新的地圖點，進行地圖點更新；將現存地圖點投影到關鍵幀，并構建局部光束法平差，調整相機位姿；剔除冗余關鍵幀，詢問數據庫，并進行Sim3相似性計算，并檢測是否是閉環，如果是，則進行閉環融合，并優化本質圖，流程結束；如果不是，則進入下一步驟；構建全局光束法平差，調整相機位姿，使得SLAM系統整體誤差最小化，更新地圖。

技術領域

本發明涉及移動設備自主定位與建圖領域，尤其涉及一種基于單目視覺的特征法與直接法相融合的SLAM方法。

背景技術

SLAM(Simultaneously Location and Mapping，中文譯作“同時定位與地圖構建”)，被譽為移動設備實現自主移動的核心技術之一，近年來在一群優秀的研究人員的共同努力下，已逐漸走向成熟，且未來可廣泛應用于三維重建、AR/VR(Augmented Reality，增強現實/Virtual Reality，虛擬現實)設備與移動機器人領域。

由于采用傳感器的不同，諸如慣性測量單元(Inertia Measurement Unit，IMU)、激光雷達(Laser Lidar)、相機等，SLAM可分為INS(Inertia Navigation System，慣性導航系統)、激光SLAM與視覺SLAM。其中，視覺SLAM根據攝像頭的不同(有單目-Monocular、雙目-Stereo、RGB-D深度相機，以及魚眼相機、全景相機等)，又可區分開來。其中，使用單目相機的SLAM被稱為單目視覺SLAM。

目前視覺SLAM主流的方法有兩種，分別是基于特征法的SLAM(如ORB-SLAM^[1])，以及基于直接法的SLAM(如DSO^[2](Direct Sparse Odometry，直接法稀疏里程計))。兩種方法具備各自的優勢：

1)基于ORB特征^[1]：通過提取的特征點與描述子，使得處理的圖像具有良好的旋轉不變性，且具有良好的光照穩定性，在實時性要求較高的場景下，該種方法更加魯棒。但當環境中存在較少的紋理或紋理重復性較高時(如圖1)，基于特征的SLAM只能依賴有限的特征點，而當特征點少于一定閾值時，該種方法便會失效；

2)基于直接法^[2]：不必計算描述子，可以直接根據圖像的像素信息來估算搭載相機主體的運動，但是該方法基于一個很強的灰度不變假設，在環境光照變化不明顯時，該方法在弱紋理區域呈現出強于特征法的魯棒性。

基于特征法的SLAM很難在缺少特征的弱紋理環境中(如圖1)運行，而直接法無需依賴特征點，只要圖像中存在像素梯度，便可順利實時運行，但是在弱紋理或重復紋理的環境中，即使存在極少的特征點，也能為整個SLAM系統前端帶來一些約束，提供可靠的數據關聯，從而極大的提高整個SLAM系統的魯棒性與準確性。

參考文獻

[1]R.Mur-Artal,J.Montiel,and J.Tardos.ORB-SLAM:a versatile andaccurate monocular SLAM system.Transactions on Robotics,31(5):1147–1163,2015.

[2]J.Engel,V.Koltun,and D.Cremers,“Direct Sparse Odometry,”IEEETransactions on Pattern Analysis and Machine Intelligence,vol.40,no.3,pp.611–625,2018.

發明內容