[發明專利]一種視覺里程計測量方法

有效

• 申請號: 202011122212.9
• 申請日: 2020-10-20
• 公開（公告）號: CN112233179B
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 李鵬;伍仲祥;劉宗明;武冠群;徐加軍;蔡成林;周彥;盤宏斌;陳洋卓;劉琪
• 申請（專利權）人: 湘潭大學;浙江羅比科技有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/55;G06T7/269;G06T7/246;G01C21/20
• 代理公司: 湖南天地人律師事務所 43221
• 代理人: 楊萍

本發明公開了一種視覺里程計測量方法，包括以下步驟：步驟1、獲取視覺里程計拍攝的圖像；步驟2、對各連續的前后幀圖像，分別獲取其2D?2D匹配關系，從而得到對應的相機相對位姿；利用訓練好的深度預測模型獲取各幀圖像的預測深度；深度網絡模型訓練過程中，先從樣本圖像的2D?2D匹配關系中得到樣本圖像的三角化深度；再基于三角化深度對深度預測模型輸出的樣本圖像的預測深度進行尺度轉換，并基于樣本圖像經尺度轉換后的預測深度與三角化深度之間的深度誤差優化深度預測模型；步驟3、根據各幀圖像的預測深度生成點云，并結合前后幀圖像對應的相機相對位姿，確定各點的空間坐標和相機的運動軌跡。本發明能夠解決視覺里程計的尺度漂移問題。

技術領域

本發明涉及一種視覺里程計測量方法。

背景技術

隨著科技的發展，人們對移動機器人的自主性要求越來越高，在陌生環境中實現移動機器人的自主導航成為機器人領域的研究熱點。基于視覺的同時定位與地圖構建(Simultaneous Localization and Mapping，SLAM)是實現這一技術的核心，視覺里程計(Visual Odometry，VO)根據圖像幀的運動估計相機位姿，是視覺SLAM中關鍵的一環，在無法預知地圖的情況下，視覺里程計對于定位來說至關重要。

傳統視覺里程計算法都是基于多視圖幾何的方法，在理想的場景下，它的精度是可靠且準確的。ORB-SLAM2是目前最精確地SLAM系統之一，但是它的視覺里程計算法是基于稀疏ORB特征的方法，對特征點的提取和匹配有著較高要求，在動態場景下，定位比較困難。基于直接法的視覺里程計算法中比較經典的是DSO-SLAM，該方法是直接基于關鍵幀的稀疏視覺里程計算法，對光照變化敏感，閉環難度大。傳統視覺里程計算法，在實際運用場景下存在尺度漂移問題。

隨著深度學習技術的不斷發展，基于深度學習的視覺里程計逐漸成為熱門。Agrawal等建議從運動估計任務中學習良好的視覺特征，該方法能夠對相機相對姿態進行有效估計。Zhou等提出將運動結構作為一個監督學習問題，以端到端的方式學習單目深度和位姿。Tinghui Zhou等提出了SfM-Learner方法，第一個提出用自監督方法將相機位姿和深度進行聯合學習。JiawangBian等在SfM-Learner的基礎上提出了SC-SfMLearner方法，通過加強深度一致性來解決尺度不一致性問題。上述基于學習的方法都是在假設所有圖像的深度圖和位姿尺度一致的基礎上進行的，且沒有明確考慮相機運動而存在的多視圖幾何約束，導致泛化能力降低，魯棒性差。

針對上述問題，有必要提供一種能夠解決實際運用場景下存在的尺度漂移問題的視覺里程計測量方法。

發明內容

本發明所解決的技術問題是，針對現有技術的不足，提供一種視覺里程計測量方法，能夠解決視覺里程計在實際運用場景下存在的尺度漂移問題，魯棒性好。

本發明所提供的技術方案為：

一種視覺里程計測量方法，包括以下步驟：

步驟1、獲取視覺里程計拍攝的圖像；

步驟2、對各連續的前后幀圖像，分別獲取其像素對應關系，即2D-2D匹配關系，從而得到對應的相機相對位姿；

利用訓練好的深度預測模型獲取各幀圖像的預測深度(將一幀圖像輸入訓練好的深度預測模型，輸出該幀圖像的深度圖，即預測深度)；

所述深度網絡模型訓練過程中，先利用三角測量(三角化)的方法從樣本圖像的2D-2D匹配關系中得到樣本圖像的三角化深度(偽地面真實深度)；再基于樣本圖像的三角化深度對深度預測模型輸出的樣本圖像的預測深度進行尺度轉換(矯正，對齊)，并將樣本圖像經尺度轉換后的預測深度與三角化深度之間的深度誤差加入深度預測模型的損失函數中，作為深度預測模型訓練過程的監督，優化深度預測模型；

步驟3、根據各幀圖像的預測深度生成點云，并結合前后幀圖像對應的相機相對位姿，確定各點的空間坐標和相機的運動軌跡。