[發明專利]一種基于雙目視覺的閉環式跟蹤特征的視覺里程計方法

有效

• 申請號: 201910619006.X
• 申請日: 2019-07-10
• 公開（公告）號: CN110570453B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 黃平;王歡;光正慧;劉琦;王春宏;陳文苗;王銳
• 申請（專利權）人: 哈爾濱工程大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/269;G06T7/285;G06T7/593;G01C22/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于雙目視覺的閉環式跟蹤特征的視覺里程計方法，其特征在于：所述方法包括如下步驟：

(1)提取雙目圖像特征點，判斷圖像是否是第一幀，如果是第一幀，執行左右圖像匹配及去除誤匹配操作，利用匹配成功的左右圖像特征點，記為p_prev0、p_prev1，計算特征點對應的世界三維坐標，記為d₃₀；

(2)當前幀非第一幀，執行跟蹤機制，每一步都會記錄相應標志位，用來濾除掉不合格的特征點；以左相機為參考，光流法跟蹤前一幀圖像與當前幀圖像特征點，移除跟蹤失敗以及超出圖像邊界的點，保存跟蹤的特征點在當前幀的坐標位置，記為p_{curr0_tracked}，運用標志位更新前一幀雙目特征，記為p_{prev0_tracked}、p_{prev1_tracked}，及對應跟蹤的世界三維坐標記為d_{30_tracked}；

(3)對當前幀進行雙目之間的特征匹配及去除誤匹配操作，更新匹配特征后對應的世界三維坐標；利用標志位得到新的前一幀左右圖像特征點集，記為p_{prev0_matched}、p_{prev1_matched}，當前幀左右圖像特征點集，記為p_{curr0_matched}、p_{curr1_matched}，和匹配特征后保留的世界三維坐標點集，記為d_{30_matched}；

(4)用光流法將當前幀左右圖像特征點分別向上一幀的左右圖像匹配，若匹配正確在上一幀的點應該是同一個點，將保留重匹配后像素坐標之差的模長小于閾值σ的特征點匹配對；同樣利用標志位得到新的前一幀左右圖像特征點集，記為p_{prev0_proj}、p_{prev1_proj}，當前幀左右圖像特征點集，記為p_{curr0_proj}、p_{curr1_proj}，和重跟蹤后保留的世界三維坐標點集，記為d_{30_proj}；

(5)利用跟蹤成功的特征點與其對應的世界三維坐標，最小化重投影誤差求解位姿，即旋轉矩陣R和平移向量t；

(6)由于在雙目匹配和前后幀匹配的過程中會不斷剔除特征點，所以完成一次跟蹤后，需要為圖像增加新的特征點，新增特征點選取在上述步驟跟蹤得到特征點以外；

(7)添加新特征后，進行雙目匹配及去除誤匹配，保留特征點記為p_prev0、p_prev1，計算世界三維坐標，記為d₃₀；

(8)循環步驟二至步驟七。

2.根據權利要求1所述的一種基于雙目視覺的閉環式跟蹤特征的視覺里程計方法，其特征在于：所述步驟(1)中，對第一幀圖像提取Oriented FAST特征點，特征點的描述子用BRIEF描述子表示，暴力匹配法匹配雙目特征點，并采用最近鄰與次近鄰比值算法；所述最近鄰與次近鄰比值算法采用比值形式其中d_fir表示最近距離值，d_sec表示次近距離值，θ根據經驗設置為0.7。

3.根據權利要求1所述的一種基于雙目視覺的閉環式跟蹤特征的視覺里程計方法，其特征在于：所述步驟(1)中的世界三維坐標，其計算方法為：

d＝u_L-u_R (1.2)

其中，f表示相機焦距，b是兩平行相機光圈中心的水平距離，u_L為像素點在左目相機成像中的x軸坐標點，u_R為像素點在右目相機成像中的x軸坐標點，d為像素點在左右兩圖中的橫坐標之差，稱為視差，v_L為像素點在左、右目相機中的y軸坐標點，u_c是圖像x軸主坐標點，v_c是圖像y軸主坐標點，(X,Y,Z)為世界三維坐標。