[發明專利]一種基于雙目視覺的閉環式跟蹤特征的視覺里程計方法

有效

• 申請號: 201910619006.X
• 申請日: 2019-07-10
• 公開（公告）號: CN110570453B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 黃平;王歡;光正慧;劉琦;王春宏;陳文苗;王銳
• 申請（專利權）人: 哈爾濱工程大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/269;G06T7/285;G06T7/593;G01C22/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及一種基于雙目視覺的閉環式跟蹤特征的視覺里程計方法領域。提取雙目圖像特征點，如果圖像是第一幀，執行左右圖像匹配及去除誤匹配操作，利用匹配成功的左右圖像特征點，計算特征點對應的世界三維坐標；當前幀非第一幀，執行跟蹤機制，每一步都會記錄相應標志位，用來濾除掉不合格的特征點；以左相機為參考，光流法跟蹤前一幀圖像與當前幀圖像特征點，移除跟蹤失敗以及超出圖像邊界的點，保存跟蹤的特征點在當前幀的坐標位置，運用標志位更新前一幀雙目特征，及對應跟蹤的世界三維坐標記為。本發明在新圖像到來時，保護已跟蹤特征，在已跟蹤特征以外提取新的特征點，繼續整個跟蹤過程，這樣做可以避免提取到重復的特征，以提高算法效率。

技術領域

本發明涉及視覺里程計方法領域，特別是一種基于雙目視覺的閉環式跟蹤特征的視覺里程計方法領域。

背景技術

對于移動機器人要求具備的功能，通常包括目標探測、定位與自動尋路，而要實現自主導航尋路的前提就是自主定位，因此設計一個穩健且準確的定位方法至關重要。傳統且經典的定位方式采用GPS、IMU、雷達定位等技術，然而GPS在室內沒有信號，IMU會隨時間產生嚴重的誤差累積，而雷達設備過于昂貴。視覺傳感器具有小巧、低價、獲取信息具有實時性的特點，近年來，基于視覺傳感器的導航定位技術取得了一定的成果，一種新的位姿估計方式應運而生，位姿估計結果即我們要得到的定位信息。相機首先利用視覺傳感器來獲取周圍環境的圖像信息，然后對這些圖像進行分析和處理，如特征提取、匹配、運動恢復等，實現對周圍環境的理解，進而可以獲得載體的導航參數，包括位置、姿態等信息。視覺里程計根據采用的相機類型又可以分為基于單目、雙目和深度相機實現。單目相機計算復雜且使用場景受限，深度相機雖然可以直接計算出場景深度，但由于其受光線輻射影響很大，只能在室內使用且價格貴，綜合考慮采用雙目攝像機是比較合適的選擇。

從連續的圖像序列中估計相機自身運動的思想，最早由Moravec等人提出，后來人們把基于影像序列恢復相機位姿和周圍三維場景的問題稱為運動恢復結構(StructureFrom Motion，SFM)，而視覺里程計是SFM技術的一個特例。2004年NASA發射的勇氣號、機遇號火星探測漫游車順利著陸，這兩部火星車都采用了雙目視覺進行定位導航，利用視覺信息，估計出圖像幀與幀之間攝像機的外部參數，經圖像特征提取、特征跟蹤、立體匹配、運動估計等步驟完成計算，實現其在火星上的自主導航。但是，多數視覺里程計算法在特征檢測、匹配與跟蹤方面只采用了最基礎的操作，跟蹤特征的結構不夠魯棒，使得所跟蹤的特征準確度不夠，直接影響了后面位姿估計的結果。本發明提出一種閉環式跟蹤特征的雙目視覺里程計方法，提高特征準確性，進而減小位姿估計的誤差。

發明內容

本發明的目的在于提供一種基于雙目視覺的閉環式跟蹤特征的視覺里程計方法。

本發明是這樣實現的：

一種基于雙目視覺的閉環式跟蹤特征的視覺里程計方法，所述方法包括如下步驟：

(1)提取雙目圖像特征點，判斷圖像是否是第一幀，如果是第一幀，執行左右圖像匹配及去除誤匹配操作，利用匹配成功的左右圖像特征點，記為p_prev0、p_prev1，計算特征點對應的世界三維坐標，記為d₃₀；

(2)當前幀非第一幀，執行跟蹤機制，每一步都會記錄相應標志位，用來濾除掉不合格的特征點；以左相機為參考，光流法跟蹤前一幀圖像與當前幀圖像特征點，移除跟蹤失敗以及超出圖像邊界的點，保存跟蹤的特征點在當前幀的坐標位置，記為p_{curr0_tracked}，運用標志位更新前一幀雙目特征，記為p_{prev0_tracked}、p_{prev1_tracked}，及對應跟蹤的世界三維坐標記為d_{30_tracked}；