[發明專利]一種全周期采用CNNs特征檢測的視覺SLAM算法

有效

• 申請號: 201811087509.9
• 申請日: 2018-09-18
• 公開（公告）號: CN109341703B
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 趙永嘉;張寧;雷小永;戴樹嶺
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G01C21/32
• 分類號: G01C21/32;G06V10/74;G06V10/764;G06V10/774;G06V10/82;G06K9/62
• 代理公司: 北京永創新實專利事務所 11121
• 代理人: 周長琪

本發明公開一種全周期采用CNNs特征檢測的視覺SLAM算法，首先在前端，用無監督模型對原始圖像數據進行預訓練，接著利用預訓練的數據通過CNN網絡架構把運動和深度的聯合表示和局部速度和方向改變關聯起來，執行視覺里程計；最后執行路徑預測。本發明還使用OverFeat神經網絡模型進行回環檢測環節，用于消除前端帶來的累積誤差，構建一個基于深度學習的視覺slam架構。同時構建時間和空間連續性濾波器，對匹配結果進行驗證，提高匹配準確率，消除誤匹配。本發明在提高視覺里程計精度和閉環檢測正確率方面有著巨大的優勢和潛力。

技術領域

本發明屬于計算機視覺中的同時定位與地圖構建(slam)算法的技術領域，具體涉及一種全周期采用CNNs特征檢測的視覺SLAM算法。

背景技術

SLAM(Simultaneous Localization and Mapping)中文名稱為“同時定位與地圖構建”。SLAM是一個令人著迷的研究領域，在機器人，導航和其他許多應用中有著廣泛的應用。視覺SLAM基本上涉及根據視覺傳感器信息來估計相機運動并試圖構建周圍環境的地圖，例如來自一個或多個相機的序列幀。當前SLAM問題的研究手段主要是通過在機器人本體上安裝多類型傳感器來估計機器人本體運動信息和未知環境的特征信息，利用信息融合實現對機器人位姿的精確估計以及場景的空間建模。盡管SLAM采用的傳感器有激光和視覺等多種類型，但其處理過程一般包含3個部分：前端視覺里程計，后端優化以及閉環檢測。

典型視覺SLAM算法以估計攝像機位姿為主要目標，通過多視幾何理論來重構3D地圖。為提高數據處理速度，部分視覺SLAM算法首先提取稀疏的圖像特征，通過特征點之間的匹配實現視覺里程計和閉環檢測，如基于SIFT(scale invariant feature transform)特征的視覺SLAM[13]和基于ORB(oriented FAST and rotated BRIEF)特征的視覺SLAM。SIFT和ORB特征憑借其較好的魯棒性和較優的區分能力以及快速的處理速度，在視覺SLAM領域受到廣泛應用。人工設計的稀疏圖像特征當前有很多局限性，一方面如何設計稀疏圖像特征最優地表示圖像信息依然是計算機視覺領域未解決的重要問題，另一方面稀疏圖像特征在應對光照變化、動態目標運動、攝像機參數改變以及缺少紋理或紋理單一的環境等方面依然有較多挑戰。傳統的視覺里程計(Visual Odometry,VO)基本上涉及根據視覺信息來估計運動，例如來自一個或多個相機的序列幀。這些工作中的大多數屬性的一個共同特點是它們依靠關鍵點檢測和跟蹤以及相機幾何結構來估計視覺測距。

近年來，基于學習的方法已經在計算機視覺的許多領域顯示出令人期待的結果，能夠克服傳統的視覺slam算法中存在的缺陷(稀疏圖像特征在應對光照變化、動態目標運動、攝像機參數改變以及缺少紋理或紋理單一的環境等方面有較多的困難)。像卷積神經網絡(CNNs)這樣的模型被證明在各種視覺任務中非常有效，如分類和定位，深度估計等等。無監督特征學習模型展示了通過乘法交互學習數據中局部變換表示的能力。研究表明經過無監督模型預訓練之后的數據，再應用到CNNs網絡中，可以較好的過濾噪聲和防止“過擬合”。

視覺里程計(VO)負責估計軌跡和地圖的初值。VO原理是只考慮了相鄰幀圖片的聯系。誤差不可避免的將會隨著時間積累，使得整個系統出現累計誤差，長期估計的結果將不可靠，或者說，我們無法構建全局一致的軌跡和地圖。回環檢測模塊能夠給出相鄰幀之外一些時隔更加久遠的約束。回環檢測的關鍵，就是如何有效的檢測出相機經過同一個地方這件事，關系到我們估計的估計和地圖在長時間下的正確性。因此，回環檢測對整個SLAM系統的精度和穩健性的提升是非常明顯的。