[發明專利]一種基于點線特征的視覺-慣性里程計狀態估計方法

有效

• 申請號: 202011401030.5
• 申請日: 2020-12-02
• 公開（公告）號: CN112683305B
• 公開（公告）日: 2022-03-04
• 發明（設計）人: 史殿習;劉哲;楊文婧;楊紹武;徐利洋;崔玉寧;楊思寧;李林
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G01C25/00
• 分類號: G01C25/00
• 代理公司: 湖南企企衛知識產權代理有限公司 43257
• 代理人: 任合明

本發明公開了一種基于點線特征的視覺?慣性里程計狀態估計方法，目的是解決現有狀態估計方法耗時長、精度不高的缺點。技術方案是先構建由數據獲取模塊、視覺特征追蹤模塊、IMU預積分模塊、特征重建模塊、閉環檢測與重定位模塊、非線性優化模塊組成的基于特征點和特征線的視覺?慣性里程計系統。數據獲取模塊獲取單目相機圖像幀和IMU數據；IMU預積分模塊對IMU數據進行預積分處理；視覺特征追蹤模塊使用特征點和特征線之間的約束對特征點線進行追蹤；特征重建模塊通過點線約束進行特征三維重建；閉環檢測與重定位模塊基于特征點信息進行閉環檢測；非線性優化模塊構建非線性優化損失函數并求解，獲取機器人狀態。本發明可降低處理時間，提升精度。

技術領域

本發明涉及計算機圖像處理、多傳感融合領域，具體涉及運用“單目相機-IMU(Inertial Measurement Unit，中文名為慣性測量單元)傳感套件”完成對機器人的狀態估計的方法。

背景技術

SLAM(Simultaneous Localization And Mapping，即同時定位與建圖)作為機器人領域一個重要分支，近年來得到了大家的廣泛研究。SLAM試圖解決這樣的問題：一個機器人在未知的環境中運動，如何通過對環境的觀測確定自身的運動軌跡，同時構建出環境的地圖。 SLAM技術正是為了實現這個目標涉及到的諸多技術的總和。一個完整的SLAM系統主要包括視覺里程計部分和優化建圖部分。視覺里程計部分粗略估計機器人狀態，估計方法主要分為兩種方法：特征點法和直接法。特征點法是目前機器人狀態估計的主流方法，即首先在圖像中提取特征點，對不同幀之間的特征點進行匹配，進而對匹配的特征點對做相關操作，估算相機的位姿。常用的點特征包括Harris角點、SIFT、SURF、ORB、HOG特征。不同于特征點法，直接法可以省去提取特征點的過程，直接利用圖像中的灰度信息來估計機器人狀態，但該方法尚不成熟，魯棒性較差。優化建圖部分根據全局信息優化機器人狀態，并根據傳感信息和機器人狀態對機器人周圍環境進行建圖。

如果不需要對環境進行建圖，視覺里程計就可以對機器人進行較為高效且準確的狀態估計。但是僅基于一臺單目相機，視覺里程計無法估計出周圍環境的真實尺度，同時也會因為光線變化、運動模糊而產生較大的狀態估計誤差。近年來，IMU與單目相機的組合“單目相機-IMU傳感套件”被更多的用在視覺里程計中，被稱作視覺-慣性里程計。IMU可以很好的與單目相機形成互補，提供尺度信息以及極短時間內準確的狀態估計，同時單目相機可以修正IMU長時間下的漂移問題。視覺-慣性里程計已經成為SLAM研究中一個重要領域了。

目前，大部分視覺-慣性里程計使用特征法進行特征追蹤，并配合IMU數據對機器人的狀態進行估計。視覺-慣性里程計的典型代表工作為VINS-Mono(VisualInertialNavigation System-Monocular，中文名為單目視覺-慣性導航系統)，2018年由TongQin等人在期刊IEEE Transactions on Robotics第34卷，第4期，第1004-1020頁上發表的文章《VINS- Mono:Arobustandversatilemonocular visual-inertial state estimator》即《單目視覺-慣性導航系統：一個魯棒且多功能的單目視覺-慣性狀態估計器》提出。VINS-Mono基于單目相機對特征點進行追蹤，利用IMU預積分方法對IMU測量數據進行處理，并通過將處理后的視覺信息和IMU 信息融合，估計機器人狀態。