[發明專利]一種單目視覺慣性里程計系統及方法

有效

• 申請號: 201911031727.5
• 申請日: 2019-10-28
• 公開（公告）號: CN110751123B
• 公開（公告）日: 2022-12-23
• 發明（設計）人: 李晨軒;張志彥;徐軼軻;王三舟;周軍;王濤;馬力超
• 申請（專利權）人: 北京機械設備研究所
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V10/44;G06V10/75;G06T7/269;G06T7/73;G01C22/00
• 代理公司: 北京天達知識產權代理事務所有限公司 11386
• 代理人: 李明里

1.一種單目視覺慣性里程計系統，用于移動載體的自主導航，其特征在于，包括：慣導模塊、單目視覺模塊、控制模塊和姿態輸出模塊；

所述慣導模塊，用于感應測量載體的運動信息；

所述單目視覺模塊，用于通過圖像幀獲取載體周圍環境信息；

所述控制模塊包括預處理模塊和REPF濾波器；所述REPF濾波器表示RANSAC-ExtendedKalman Particle Filter；

所述預處理模塊用于根據所述運動信息采用捷聯慣導算法解算得到載體的慣導信息；并利用Fast特征算法從單目視覺模塊提供的連續三幀圖像中分別提取特征點，利用LK光流跟蹤進行特征點匹配；從LK光流跟蹤得到的匹配特征點組中隨機選取八組匹配點組，并采用八點法估計得到單目視覺模塊相機的外參數，根據所述相機外參數及圖像間的對極幾何關系確定局內匹配點組數，保留匹配點組數最大的匹配點組以及與所述匹配點組數最大的匹配點組相匹配的匹配點組，剔除其它匹配點組，得到粗匹配點組；所述單目視覺模塊提供的連續三幀圖像信息分別為當前幀數據、前一幀數據和前兩幀數據；采集到的新圖像數據作為當前幀數據；采用八點法估計得到單目視覺模塊相機的外參數包括：本質矩陣以及相機的旋轉矩陣和平移量；

所述REPF濾波器，用于基于解算的載體慣導信息對得到的所述粗匹配特征點組進行精匹配得到最佳匹配點組，并利用全部最佳匹配點組解算得到載體的姿態信息；

所述REPF濾波器執行下述流程得到最佳匹配點組：

隨機選取一組粗匹配提取的匹配點組，與三幀圖像對應的慣導信息進行融合，得到系統狀態量；利用REPF濾波算法估計系統的誤差量，與慣導信息進行融合，得到系統真實狀態量；根據所述系統真實狀態量及三幀圖像幾何中的“點-線-點”的映射關系，得到三焦點張量；

判斷其它匹配點組的約束關系，是否滿足所述三焦點張量的約束關系，如果滿足約束關系，則判斷為局內匹配點組并保留；

多次隨機取樣進行局內匹配點組判斷，保留局內匹配點組數最大的匹配點組以及與所述匹配點組數最大的匹配點組相匹配的匹配點組，將其它未被選中的匹配點組剔除掉，得到最佳匹配點組；

所述姿態輸出模塊，用于輸出控制模塊解算得到的姿態信息。

2.根據權利要求1所述的單目視覺慣性里程計系統，其特征在于，所述慣導模塊包括固聯在載體上陀螺儀和加速度計，所述陀螺儀用于感應測量載體軸向的角速度，所述加速度計用于感應測量載體的線速度。

3.根據權利要求2所述的單目視覺慣性里程計系統，其特征在于，所述REPF濾波算法利用全部最佳匹配點組更新系統真實的狀態量以解算得到載體的姿態信息。

4.一種單目視覺慣性里程計系統的工作方法，其特征在于，所述方法包括以下步驟：

慣導模塊和單目視覺模塊分別向控制模塊發送運動信息和連續三幀圖像信息；

預處理模塊根據運動信息采用捷聯慣導算法解算得到載體的慣導信息，并根據單目視覺模塊提供的連續三幀圖像信息利用特征點匹配算法對圖像特征點進行粗匹配，得到粗匹配特征點組；所述預處理模塊執行下述流程得到粗匹配點組：

利用Fast特征算法從單目視覺模塊提供的連續三幀圖像中分別提取特征點，并利用LK光流跟蹤進行特征點匹配；

從LK光流跟蹤得到的匹配特征點組中隨機選取八組匹配點組，并采用八點法估計得到單目視覺模塊相機的外參數，根據所述相機外參數及圖像間的對極幾何關系確定局內匹配點組數，保留匹配點組數最大的匹配點組以及與所述匹配點組數最大的匹配點組相匹配的匹配點組，剔除其它匹配點組，得到粗匹配點組；所述單目視覺模塊提供的連續三幀圖像信息分別為當前幀數據、前一幀數據和前兩幀數據；采集到的新圖像數據作為當前幀數據；采用八點法估計得到單目視覺模塊相機的外參數包括：本質矩陣以及相機的旋轉矩陣和平移量；

REPF濾波器基于解算的載體慣導信息對得到的圖像粗匹配特征點組進行精匹配得到最佳匹配點組，并利用全部最佳匹配點組解算得到載體的姿態信息；

控制模塊將載體的姿態信息發送至姿態輸出模塊。

5.根據權利要求4所述的方法，其特征在于，REPF濾波算法利用全部最佳匹配點組更新系統真實的狀態量以解算得到載體的姿態信息。