[發明專利]視覺慣性里程計優化的方法及系統

有效

• 申請號: 201910996260.1
• 申請日: 2019-10-18
• 公開（公告）號: CN110763251B
• 公開（公告）日: 2021-07-13
• 發明（設計）人: 姜楠;黃德斌;李進;黃偉
• 申請（專利權）人: 華東交通大學
• 主分類號: G01C22/00
• 分類號: G01C22/00;G06T7/246;G06T7/73
• 代理公司: 深圳市智圈知識產權代理事務所(普通合伙) 44351
• 代理人: 呂靜

本申請實施例公開了一種視覺慣性里程計優化的方法及系統。通過獲取IMU數據以及視覺圖像數據；提取視覺圖像數據的點線特征數據；對IMU數據進行預積分處理，得到尺度信息以及IMU變量；基于尺度信息對點線特征數據進行聯合初始化，得到點線特征像素灰度值；計算相鄰兩幀視覺圖像之間的IMU更新量；結合IMU更新量獲取新的位姿；判斷不同幀圖像是否滿足目標條件；若滿足，獲取關鍵幀；將關鍵幀、位姿、目標點線特征數據、預先配置的加速度零偏和陀螺儀零偏、以及IMU速度加入到滑動窗口中，得到邊緣化先驗；獲取IMU殘差以及視覺殘差，并基于邊緣化先驗、IMU殘差以及視覺殘差對視覺圖像估計進行優化處理，可以實現消除誤差累積，得到視覺圖像的最優軌跡。

技術領域

本申請涉及自主導航技術領域，更具體地，涉及一種視覺慣性里程計優化的方法以及系統。

背景技術

隨著計算機視覺技術的發展，視覺里程計由于其較強的適應性成為自主移動導航系統的重要選擇。在純視覺里程計系統中，系統利用攝像頭傳感器獲取周圍環境的圖像信息，通過對圖像進行分析，估計系統的運動狀態。但是在單目視覺系統中存在著尺度問題，即系統無法得知所獲得的運動過程的實際尺度，只能獲取相對的長度信息，因而會導致定位誤差隨時間增長不斷累積。

發明內容

鑒于上述問題，本申請提供了一種視覺慣性里程計優化的方法以及系統，以實現改善上述問題。

第一方面，本申請實施例提供了一種視覺慣性里程計優化的方法，所述方法包括：獲取IMU數據以及視覺圖像數據；提取所述視覺圖像數據的點線特征數據，并采用目標算法對所述點線特征數據進行誤匹配剔除，以得到去除點線特征誤差的目標點線特征數據；對所述IMU數據進行預積分處理，得到所述視覺圖像數據所表征視覺圖像的尺度信息以及所述IMU數據的IMU狀態量變量；基于所述尺度信息對所述目標點線特征數據進行聯合初始化，得到與所述目標點線特征數據對應的初始點特征像素灰度值以及初始線特征像素灰度值；計算相鄰兩幀視覺圖像之間的IMU更新量；結合所述IMU更新量、初始點特征像素灰度值以及初始線特征像素灰度值獲取新的位姿；判斷所述視覺圖像數據的不同幀圖像是否滿足目標條件；若滿足，獲取對應的圖像幀作為關鍵幀；將所述關鍵幀、所述位姿、所述目標點線特征數據、預先配置的加速度零偏和陀螺儀零偏、以及IMU速度加入到滑動窗口中，將滑動窗口中時間最早的一幀進行邊緣化處理，得到邊緣化先驗；獲取IMU殘差以及視覺殘差，并基于所述邊緣化先驗、所述IMU殘差以及視覺殘差對視覺圖像估計進行優化處理，可以實現消除誤差累積，得到視覺圖像的最優軌跡。

進一步的，所述提取所述視覺圖像數據的點線特征數據的步驟可以包括：采用FAST角點提取算法提取視覺圖像中的角點，得到點特征數據；判斷所提取角點的數量是否達到預設閾值；若達到，采用LSD直線檢測分割算法提取線特征數據，得到線特征數據。

進一步的，所述基于所述尺度信息對所述目標點線特征數據進行聯合初始化的步驟可以包括：構造點優化函數以及線優化函數；通過所述點優化函數以及線優化函數對所述目標點線特征數據進行聯合初始化，得到與所述目標點線特征數據對應的初始點特征像素灰度值以及初始線特征像素灰度值。

進一步的，所述判斷所述視覺圖像數據的不同幀圖像是否滿足目標條件的步驟可以包括：判斷前后兩幀視覺圖像之間平移的距離或旋轉的角度是否大于對應的預設閾值；或判斷跟蹤點、線特征的數量是否小于第一閾值；或判斷當前幀視覺圖像的跟蹤點、線特征的數量是否小于上一幀視覺圖像的跟蹤點、線特征的數量。

進一步的，所述獲取IMU殘差以及視覺殘差的步驟可以包括：獲取點投影誤差模型以及線投影誤差模型；通過所述點投影誤差模型以及線投影誤差模型計算點投影誤差以及線投影誤差；基于所述點投影誤差以及線投影誤差計算視覺殘差；基于預設的IMU殘差模型計算IMU殘差。