[發明專利]一種基于視覺慣導信息融合的定位方法及系統

有效

• 申請號: 201711077826.8
• 申請日: 2017-11-06
• 公開（公告）號: CN107869989B
• 公開（公告）日: 2020-02-07
• 發明（設計）人: 劉騰飛;張鵬
• 申請（專利權）人: 東北大學
• 主分類號: G01C21/16
• 分類號: G01C21/16;G01C21/20
• 代理公司: 11613 北京易捷勝知識產權代理事務所(普通合伙)
• 代理人: 韓國勝

本發明公開了一種基于視覺慣導信息融合的定位方法及系統，其中，所述方法包括：對采集的傳感器信息進行預處理，所述傳感器信息包括：深度視覺傳感器的RGB圖像和深度圖像信息，慣性測量單元IMU數據；獲取深度視覺傳感器和慣性測量單元所屬系統的外部參數；采用IMU預積分模型和深度相機模型處理所述預處理后的傳感器信息、外部參數，獲得位姿信息；基于回環檢測方式對所述位姿信息進行校正，獲得校正后的全局一致的位姿信息。上述方法在定位過程中魯棒性好，提升定位準確性能。

技術領域

本發明涉及傳感器融合技術，具體涉及一種基于視覺慣導信息融合的定位方法及系統。

背景技術

目前，視覺慣導融合技術廣泛應用在三維重建、無人車和無人機的定位導航、自動駕駛等領域，旨在提供實時魯棒精確的位置和姿態。主流的視覺慣導融合技術為基于濾波器方法。基于濾波器的方法主要采用卡爾曼濾波器及其變種，將慣導信息根據慣性測量單元的運動學模型得到系統狀態向量的先驗分布，在使用視覺傳感器的觀測模型更新卡爾曼增益，進而得到系統狀態向量的后驗分布。具體處理中，按照系統狀態向量是否包含特征點坐標向量來分類，可分為松耦合和緊耦合兩類。松耦合是指慣性測量單元和視覺傳感器分別對系統狀態向量進行估計，然后在進行融合。這樣可以有效減小計算量，方便融合。緊耦合是指系統狀態向量不僅包含慣性測量單元的狀態量還包含有特征點坐標向量，統一進行狀態估計。

基于濾波器的方法，無論采用松耦合或者緊耦合的方式，普遍存在的問題是無法有效消除累積誤差，無法處理回環問題。

為此，業內提出一種基于優化的方法，基于優化的方法能夠解決上述累積誤差和無法處理回環的缺陷，但是，算法的魯棒性比較低，無法推廣使用。

特別地，當前基于優化的方法中的外參標定主要是采用kalibr工具箱，且使用kalibr工具箱只能離線標定且需要一個特制的標定板，不易操作，無法在線直接使用。

發明內容

針對現有技術中的問題，本發明提供一種基于視覺慣導信息融合的定位方法及系統。

第一方面，本發明提供一種基于視覺慣導信息融合的定位方法，包括：

步驟A1、對采集的傳感器信息進行預處理，所述傳感器信息包括：深度視覺傳感器的RGB圖像和深度圖像信息，慣性測量單元IMU的數據；

步驟A2、獲取深度視覺傳感器和慣性測量單元所屬系統的外部參數；

步驟A3、采用IMU預積分模型和深度相機模型處理所述預處理后的傳感器信息、外部參數，獲得位姿信息；

步驟A4、基于回環檢測方式對所述位姿信息進行校正，獲得校正后的位姿信息并輸出該位姿信息。

可選地，所述步驟A1包括：

A11、采集所述深度視覺傳感器輸出的當前幀的RGB圖像和深度圖像，每一RGB圖像對應一個深度圖像，所述深度圖像中的像素值表示RGB像素點距深度視覺傳感器中相機光心的實際距離；

判斷當前幀是否是深度視覺傳感器輸出的第一幀；

若是，則從當前幀的RGB圖像中提取harris角點；

對提取的harris角點計算BRISK描述子，得到當前幀的特征點；

否則，采用LK光流跟蹤算法在當前幀的RGB圖像中查找與上一幀的RGB圖像匹配的特征點；

確定查找的匹配的特征點數量是否等于預設閾值，若等于，則將查找的匹配的特征點作為當前幀的特征點，否則，從當前幀的RGB圖像中提取新的harris角點，根據提取的harris角點，獲取新的特征點，將獲取的新的特征點和查找的匹配的特征點共同作為當前幀的特征點；

A12、采集所述慣性測量單元IMU的數據；