[發明專利]一種基于前后幀進行特征匹配的雙目慣導SLAM系統

有效

• 申請號: 201910237788.0
• 申請日: 2019-03-27
• 公開（公告）號: CN110125928B
• 公開（公告）日: 2021-04-06
• 發明（設計）人: 邢科新;馮傳濤;林葉貴
• 申請（專利權）人: 浙江工業大學
• 主分類號: B25J9/16
• 分類號: B25J9/16;G06K9/62;G06T7/246;G06T17/05
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

1.一種基于前后幀進行特征匹配的雙目慣導SLAM系統，所述系統包括雙目信息采集、特征提取與匹配模塊，IMU模塊，雙窗口非線性優化模塊，局部建圖模塊，回環檢測及優化模塊；所述雙目信息采集、特征提取與匹配模塊包括雙目特征提取子模塊和估計幀間運動子模塊；所述IMU模塊包括IMU信息采集子模塊和運動估計子模塊；所述雙窗口非線性優化模塊包括雙窗口子模塊、跟蹤和優化局部地圖子模塊和關鍵幀子模塊；所述局部建圖模塊包括插入關鍵幀子模塊、檢查點云圖子模塊和檢查關鍵幀子模塊；所述回環檢測及優化模塊包括回環檢測子模塊、計算相似變換子模塊、閉環融合子模塊和全局優化子模塊。

2.如權利要求1所述的一種基于前后幀進行特征匹配的雙目慣導SLAM系統，其特征在于，所述雙目信息采集、特征提取和匹配模塊中，雙目特征提取子模塊獲取雙目采集的圖片，雙目特征提取子模塊用blob和角點算子對左右相機采集的數據進行處理，獲得圖像中的特征候選者，提取候選特征點的描述子，用極線搜索的方式匹配，通過四張圖片匹配，將當前幀中的特征點與前一幀進行匹配，即從當前幀左圖中的特征點開始與當前幀右圖匹配，當前幀右圖與前一幀右圖匹配，然后前一幀右圖與前一幀左圖匹配，再前一幀左圖與當前幀左圖匹配，如果最后匹配的特征與起始匹配一致，則確定為特征點，同時也進行左右匹配；估計幀間運動子模塊根據匹配的特征點，可以通過RANSAC算法和PnP算法估計當前幀和前一幀之間幀間運動。

3.如權利要求1或2所述的一種基于前后幀進行特征匹配的雙目慣導SLAM系統，其特征在于，所述IMU模塊中，IMU信息采集子模塊獲取移動機器人運動數據角速度和加速度；運動估計子模塊通過積分對IMU數據進行處理，然后計算出連續圖像兩幀之間的幀間運動增量，得到機器人的運動模型與機器人當前的位姿估計。

4.如權利要求1或2所述的一種基于前后幀進行特征匹配的雙目慣導SLAM系統，其特征在于，所述雙窗口非線性優化模塊中，雙窗口子模塊采用雙窗口結構組織變量進行優化和相關觀測，在前端建立雙窗口結構，它由一個時間窗口和一個空間窗口組成，空間窗口包含關鍵幀和觀察點的位姿之間的約束，除了這樣的位姿點約束之外，時間窗口使用來自IMU的讀數使最近幀的連續位姿相關的約束，有了這些約束條件，兩個窗口中涉及的所有變量都可以通過非線性優化來完善；跟蹤和優化局部地圖子模塊跟蹤特征點并在在局部地圖上執行非線性優化，它不僅改進了當前幀的位姿估計，而且改進了雙窗口中幀和點的位姿；關鍵幀子模塊根據關鍵幀選取規則確定當前幀是否是關鍵幀，若是關鍵幀，則為新幀創建新的地圖點。

5.如權利要求1或2所述的一種基于前后幀進行特征匹配的雙目慣導SLAM系統，其特征在于，所述局部建圖模塊中，插入關鍵幀子模塊將雙窗口優化過的關鍵幀插入在局部地圖，局部地圖會在新關鍵幀和其連接的關鍵幀之間創建新的地圖點；檢查點云圖子模塊移除局部地圖中異常的地圖點；檢查關鍵幀子模塊刪除冗余的關鍵幀。

6.如權利要求1或2所述的一種基于前后幀進行特征匹配的雙目慣導SLAM系統，其特征在于，所述回環檢測及優化模塊中，回環檢測子模塊通過詞袋模型將當前幀在數據庫中關鍵幀集合進行查詢，檢測回環；計算相似變換子模塊用于如果一個候選關鍵幀有一個SE(3)變換，并且有足夠的匹配特征支持新的關鍵幀，那么接受候選者作為閉環關鍵幀，然后，閉環關鍵幀中觀察到的地圖點和新關鍵幀匹配；閉環融合子模塊，將匹配的點云進行數據融合，并更新關鍵幀位姿；全局優化子模塊優化所有的關鍵幀和三維點的位姿，減少累積誤差。