[發明專利]一種基于雙目視覺的里程計運動估計方法

在審

• 申請號: 201910023494.8
• 申請日: 2019-01-10
• 公開（公告）號: CN109741372A
• 公開（公告）日: 2019-05-10
• 發明（設計）人: 白成超;郭繼峰;鄭紅星
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06T7/285
• 分類號: G06T7/285;G06T7/246;G06T7/73;G06T7/13
• 代理公司: 哈爾濱市松花江專利商標事務所 23109
• 代理人: 劉冰

1.一種基于雙目視覺的里程計運動估計方法，其特征在于：所述方法具體過程為：

步驟1，雙目攝像機分別在t時刻的位置和t+1時刻的位置對當前場景采集圖像，得到t時刻雙目攝像機對當前場景采集到的左圖像和右圖像，以及t+1時刻雙目攝像機對當前場景采集到的左圖像和右圖像；

步驟2，對步驟1采集到的圖像進行預處理：

對步驟1采集到的圖像進行失真處理；

步驟3，采用Harris角點檢測的方法對步驟2預處理后的圖像進行特征點的提取；

步驟4，對提取到的特征點進行匹配，過程為：

對t時刻雙目攝像機對當前場景采集到的左圖像的特征點和右圖像的特征點進行特征點立體匹配，得到左右幀的圖像匹配信息；

對t+1時刻雙目攝像機對當前場景采集到的左圖像的特征點和右圖像的特征點進行特征點立體匹配，得到左右幀的圖像匹配信息；

對t時刻雙目攝像機對當前場景采集到的左圖像的特征點和t+1時刻雙目攝像機對當前場景采集到的左圖像的特征點進行特征點立體匹配與跟蹤，得到前后幀左圖像的特征點的跟蹤匹配信息；

對t時刻雙目攝像機對當前場景采集到的右圖像的特征點和t+1時刻雙目攝像機對當前場景采集到的右圖像的特征點進行特征點立體匹配與跟蹤，得到前后幀右圖像的特征點的跟蹤匹配信息；

步驟5，對步驟4得到的左右幀的圖像匹配信息進行特征點的三維重建，得到t時刻當前場景特征點的三維信息和t+1時刻當前場景特征點的三維信息；

步驟6，根據步驟5得到的t時刻當前場景特征點的三維信息和t+1時刻當前場景特征點的三維信息，以及步驟4得到的前后幀特征點的跟蹤匹配信息，獲取成功匹配的t時刻當前場景特征點的三維信息P_P和t+1時刻當前場景特征點的三維信息P_C；

步驟7，將步驟6得到的特征點的三維信息按照運動估計方法進行運動估計。

2.根據權利要求1所述一種基于雙目視覺的里程計運動估計方法，其特征在于：所述步驟3具體過程為：

采用Harris角點檢測的方法分別對步驟2預處理后的左右圖像提取特征點。

3.根據權利要求1或2所述一種基于雙目視覺的里程計運動估計方法，其特征在于：所述步驟7中將步驟6得到的特征點的三維信息按照運動估計方法進行運動估計；具體過程為：

步驟7-1.采用RANSAC結合線性最小二乘法對步驟6得到的特征點的三維信息進行處理，得到運動參數即為最終的旋轉矩陣R_end和平移矩陣T_end；

步驟7-2.根據最終的旋轉矩陣R_end和平移矩陣T_end得到相對旋轉角度，判斷相對旋轉角度是否大于3°；

步驟7-3.若相對旋轉角度大于3°，則用線性最小二乘法對得到的最終的旋轉矩陣R_end和平移矩陣T_end進行優化，優化后的結果作為相對運動信息；

步驟7-4.若相對旋轉角度小于等于3°，則記錄當前最終的旋轉矩陣R_end和平移矩陣T_end作為相對運動信息；

步驟7-5.用得到的相對運動信息進行航位推算，得到移動機器人在環境參考坐標系中的位置，完成移動機器人的定位估計。

4.根據權利要求3所述一種基于雙目視覺的里程計運動估計方法，其特征在于：所述步驟7-1中采用RANSAC結合線性最小二乘法對步驟6得到的特征點的三維信息進行處理，得到運動參數即為最終的旋轉矩陣R_end和平移矩陣T_end；具體過程為：

步驟7-1-1.從步驟6得到的n組特征點三維信息中，隨機選取m組三維信息P_P′和P_C′；

P_P′為t時刻當前場景特征點的三維信息；

P_C′為t+1時刻當前場景特征點的三維信息；

步驟7-1-2.對隨機選取的m組三維信息P_P′和P_C′用奇異值分解法求解使得運動估計方程達到最小的旋轉矩陣R和平移矩陣T；

式中，E(R,T)為歐式變換矩陣，P_cj′為t+1時刻第j個特征點三維信息，P_Pj′為t時刻第j個特征點三維信息；

步驟7-1-3.以得到的旋轉矩陣R和平移矩陣T為模型參數，計算其余n-m組三維信息的歐氏距離，滿足誤差精度的點則納入一致性集合CS，作為內點集；不滿足誤差精度的則認為是外點，剔除；

步驟7-1-4.記錄當前一致性集合的內點數，并判斷是否滿足迭代次數；

步驟7-1-5.若不滿足迭代次數要求，則回到7-1-1，重新抽取m組三維信息，重新估計旋轉矩陣R和平移矩陣T作為模型參數；

步驟7-1-6.若滿足迭代次數要求，選取內點個數最多的點集作為最終一致性點集；

步驟7-1-7.對最終一致性內點集采用奇異值分解法重新估計，得到最終的旋轉矩陣R_end和平移矩陣T_end，即為最終的運動參數。