[發明專利]一種基于深度相機的視覺里程計的設計方法

有效

• 申請號: 201710199736.X
• 申請日: 2017-03-30
• 公開（公告）號: CN107025668B
• 公開（公告）日: 2020-08-18
• 發明（設計）人: 魏武;黃婷;侯榮波
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/246;G06T7/269;G01C22/00;G01C21/20
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

1.一種基于深度相機的視覺里程計的設計方法，其特征在于，包括以下步驟：

S1、通過深度相機采集環境中的彩色和深度圖像信息，假設k-1時刻的圖像I_k-1到k時刻的圖像I_k之間的位姿運動為T_k,k-1；

S2、提取初始關鍵幀以及其余圖像幀中的特征點；

S3、用光流法跟蹤特征點在當前幀的位置，找到特征點對；

S4、計算出兩幀的相對位姿；

對在當前幀跟蹤的特征點的數目和k-1時刻的圖像I_k-1到k時刻的圖像I_k兩幀之間的特征點重疊區域大小分別做閾值規定；

當兩幀之間的特征點重疊區域大于最大閾值時，舍棄當前幀并進行下一幀圖像的光流跟蹤；

當跟蹤的特征點數大于設定閾值，且兩幀之間的特征點重疊區域在最大閾值與最小閾值之間，采用稀疏直接法求得兩幀之間的相對位姿；

當特征點少于設定閾值或兩幀之間的特征點重疊區域小于最小閾值，采用特征點法求得兩幀之間的相對位姿；

S5、利用深度圖像的深度信息，結合兩幀之間的相對位姿求取圖像幀上特征點在世界坐標系下的3d點坐標，并在另一線程對圖像幀進行點云拼接，構建地圖。

2.根據權利要求1所述的基于深度相機的視覺里程計的設計方法，其特征在于，步驟S2中提取特征點的方式是：提取幀圖上的Fast特征點，對通過Fast檢測的角點進行進一步的篩選，添加Shi-Tomasi角點提取的方法，確保角點的穩定性；針對初始關鍵幀，特征點數要求達到300個以上，Fast角點檢測的閾值是20。

3.根據權利要求1所述的基于深度相機的視覺里程計的設計方法，其特征在于，步驟S3中采用的光流法是金字塔KL光流法，金字塔層數是5層。

4.根據權利要求1所述的基于深度相機的視覺里程計的設計方法，其特征在于，當前幀跟蹤的特征點的數目閾值設定為50。

5.根據權利要求1所述的基于深度相機的視覺里程計的設計方法，其特征在于，兩幀之間的特征點重疊區域最大閾值與最小閾值設定為50％和30％。

6.根據權利要求1所述的基于深度相機的視覺里程計的設計方法，其特征在于，步驟S4中，當跟蹤的特征點數大于設定閾值，且兩幀之間的特征點重疊區域在最大閾值與最小閾值之間，設定當前幀為關鍵幀，根據兩幀之間特征塊的像素亮度之差最小來求得兩幀之間的相對位姿，特征塊指特征點以4*4像素大小的區域，轉換為最小二乘問題：

其中L表示當前幀和參考幀中可見的重合的特征塊的集合，u_i為參考幀第i個特征塊，u′_i為當前幀第i個特征塊，I_k(u′_i)表示當前幀下的特征塊u′_i的像素亮度，I_k-1(u_i)表示在參考幀下u_i特征塊的像素亮度。

7.根據權利要求1所述的基于深度相機的視覺里程計的設計方法，其特征在于，步驟S4中，當特征點少于設定閾值或兩幀之間的特征點重疊區域小于最小閾值，對兩幀的特征點進行特征匹配，并最小化重投影誤差，進而計算出兩幀的相對位姿；重投影誤差轉換為最小二乘問題：

此處q′_i為參考幀第i個特征點通過轉移矩陣T_k，k-1投影到當前幀的點，具體表示為投影點在圖像坐標系下的像素位姿，是一個估計像素位姿，q_i為當前幀第i個特征點，具體表示圖像坐標系下的像素位姿，是一個觀測像素位姿，q′_i-q_i為投影誤差值，估計像素位姿和觀測像素位姿差值，即在當前幀下兩個特征點像素位姿的差值，兩幀的運動通過三維點p_i在兩幀坐標系之間的轉換得到。