[發明專利]一種基于深度相機的視覺里程計的設計方法

有效

• 申請號: 201710199736.X
• 申請日: 2017-03-30
• 公開（公告）號: CN107025668B
• 公開（公告）日: 2020-08-18
• 發明（設計）人: 魏武;黃婷;侯榮波
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/246;G06T7/269;G01C22/00;G01C21/20
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

本發明公開了一種基于深度相機的視覺里程計的設計方法，包括以下步驟：通過深度相機采集環境中的彩色和深度圖像信息；提取初始關鍵幀以及其余圖像幀中的特征點；用光流法跟蹤特征點在當前幀的位置，找到特征點對；根據實際特征點的數目和前后兩幀之間的特征點重疊區域大小選擇使用稀疏直接法或者特征點法求得兩幀之間的相對位姿；利用深度圖像的深度信息，結合兩幀之間的相對位姿求取關鍵幀上特征點在世界坐標系下的3d點坐標，并在另一線程對關鍵幀進行點云拼接，構建地圖。本發明方法結合了稀疏直接法和特征點法，能夠提高視覺里程計的實時性和魯棒性。

技術領域

本發明涉及計算機視覺技術研究領域，特別涉及一種基于深度相機的視覺里程計的設計方法。

背景技術

視覺里程計是一種利用相機采集到的圖像序列來估計出智能體相對運動的計算機視覺方法，在機器人自主定位和導航過程中起著很重要的作用。目前，基于視覺的機器人即時定位與地圖構建(SLAM，Simultaneous Localization and Mapping)是室內定位研究的熱點，而里程計是SLAM前端結構的一部分，設計魯棒、快速的視覺里程計對整個SLAM構建非常關鍵。

傳統的基于特征法(如SIFT、ORB)的視覺里程計等，對特征提取和匹配的計算量大，整個視覺里程計比較耗時，再加上特征點的誤匹配、缺乏紋理特征時，運動估計會有較大的誤差，對SLAM后端產生很大的影響。基于此，不少研究者采用直接匹配兩幀圖像的像素點的方法來進行圖像特征跟蹤和匹配。例如：有人提出基于圖像像素能量函數視覺方法，對所有像素點的像素強度差的平方和求最小，由于是對整張圖的所有像素進行匹配，計算量很大，實時性差；或者是SVO直接配準灰度梯度更為突出的特征塊，然后采用光度誤差最小化來獲得運動位姿，雖然SVO的實時性很好，但是對于快速、大范圍的運動會跟蹤失敗；還有人采用光流法和特征法結合，在小位移內采用光流跟蹤位姿，在大位移下用特征提取的方式求得位姿，然后對位姿進行卡爾曼融合，在一定程度上能改善里程計的魯棒性，但是魯棒性提高有限。

發明內容

本發明的目的在于克服現有技術的缺點與不足，提供一種基于深度相機的視覺里程計的設計方法，方法結合了稀疏直接法和特征點法，能夠提高視覺里程計的實時性和魯棒性。

本發明的目的通過以下的技術方案實現：一種基于深度相機的視覺里程計的設計方法，包括以下步驟：

S1、通過深度相機采集環境中的彩色和深度圖像信息，假設k-1時刻的圖像I_k-1到k時刻的圖像I_k之間的位姿運動為T_k,k-1，每一幀的深度信息已知；

S2、提取初始關鍵幀以及其余圖像幀中的特征點；

S3、用光流法跟蹤特征點在當前幀的位置，找到特征點對；

S4、計算出兩幀的相對位姿；

對在當前幀跟蹤的特征點的數目和前后兩幀之間的特征點重疊區域大小分別做閾值規定；

當跟蹤的特征點數大于設定閾值，且兩幀之間的特征點重疊區域在最大閾值與最小閾值之間，采用稀疏直接法求得兩幀之間的相對位姿；

當特征點少于設定閾值或兩幀之間的特征點重疊區域小于最小閾值，采用特征點法求得兩幀之間的相對位姿；

當兩幀之間的特征點重疊區域大于最大閾值時，舍棄當前幀并進行下一幀圖像的光流跟蹤；

S5、利用深度圖像的深度信息，結合兩幀之間的相對位姿求取關鍵幀上特征點在世界坐標系下的3d點坐標，并在另一線程對關鍵幀進行點云拼接，構建地圖。

優選的，提取特征點的方式是：提取幀圖上的Fast特征點，對通過Fast檢測的角點進行進一步的篩選，添加Shi-Tomasi角點提取的方法，確保角點的穩定性。