[發明專利]一種融合深度學習和幾何推理的單目視覺里程計方法

在審

• 申請號: 202110144037.1
• 申請日: 2021-02-02
• 公開（公告）號: CN112906766A
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 董樂;張寧;張文彬
• 申請（專利權）人: 電子科技大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 成都弘毅天承知識產權代理有限公司 51230
• 代理人: 孟仕杰

本發明涉視覺信息實時定位領域，具體是一種融合深度學習和幾何推理的單目視覺里程計方法，包括如下步驟：步驟一、采集單目視覺圖像序列數據；步驟二、獲取單目視覺深度圖像；步驟三、獲取相鄰單目視覺圖像之間的光流圖像；步驟四、根據光流圖像，計算得到兩幀單目視覺圖像之間的光流一致性信息并結合設定的閾值，選擇出兩幅單目視覺圖像中最佳的N對匹配像素點；步驟五、根據匹配像素點，結合單目視覺深度圖像，建立起3D到2D的映射關系，根據PNP算法求解得到相機的旋轉和位移參數，結合前一時刻相機的位姿，更新得到當前時刻的相機位姿；融合了深度學習技術和傳統幾何推理的優點，并且整個系統各模塊間完全解耦，極大簡化了整個系統。

技術領域

本發明涉及視覺信息實時定位領域，具體是指一種融合深度學習和幾何推理的單目視覺里程計方法。

背景技術

在自動駕駛等智能領域中，汽車需要實時地獲取自身的位置信息，然后才能進行決策分析，實現精準導航，目前主要依靠于衛星導航定位技術來實現位置信息的獲取，但是在一些特殊場景下這存在很大問題，比如在野外隧道、樹木遮擋、網絡連接不暢等情形下，衛星定位會出現較大偏差，導致無法實現進一步的分析決策。

視覺里程計是用于獲取物體在運動過程中實時位姿的技術，它能夠僅依靠攝像頭當前捕捉到的視覺圖像信息，結合上一步的位姿，推算出當前的實時位姿，這樣就可以在不依靠其他外部信息輸入的情況下，實現對自身的實時定位，徹底擺脫了外界復雜環境因素的干擾，可以有效地應對突發場景，在自動駕駛領域具有廣闊的應用前景，尤其是對于保障安全具有重要意義。

但是，現有的視覺里程計技術，一類是采用傳統的方式，通過在兩幅圖像上選取特征點并進行匹配，建立起兩幅圖像之間的對應像素關系，再依據單孔相機成像的極線約束條件，通過幾何求解的方式計算出相機的位姿變換參數，包括旋轉和位移參數，從而計算出當前的位姿，在這類方法中，特征點的選取和精確匹配就成了關鍵，而且當圖像中物體出現遮擋或者存在運動物體時，會變得更加難以處理，另一類是采用深度學習技術，借助于卷積神經網絡強大的特征提取和抽象概括能力，根據圖像序列直接預測出當前的位姿信息，但是，在這類方法中，雖然充分地抽取了圖像中的信息，而且具有一定的泛化能力，對遮擋和運動物體具有一定的容錯性，但是，在泛化能力提高的同時，也丟掉了原本應該嚴格存在的幾何約束關系，從而導致最終的估計結果不準確，而且整個系統中各個模塊深度耦合，增加了訓練和測試的難度。

發明內容

基于以上問題，本發明提供了一種融合深度學習和幾何推理的單目視覺里程計方法，融合了深度學習技術和傳統幾何推理的優點，并且整個系統各模塊間完全解耦，極大簡化了整個系統的訓練、測試以及升級維護的成本和復雜度。

為解決以上技術問題，本發明采用的技術方案如下：

一種融合深度學習和幾何推理的單目視覺里程計方法，包括如下步驟：

步驟一、采集單目視覺圖像序列數據；

步驟二、利用單目圖像深度預測網絡獲取單目視覺深度圖像；

步驟三、利用光流預測網絡獲取相鄰單目視覺圖像之間的光流圖像；

步驟四、根據光流圖像，利用幾何推力預測模塊計算得到兩幀單目視覺圖像之間的光流一致性信息，并根據光流一致性信息以及設定的閾值，選擇出兩幅單目視覺圖像中最佳的N對匹配像素點；

步驟五、根據匹配像素點，結合單目視覺深度圖像，建立起3D到2D的映射關系，根據PNP算法求解得到相機的旋轉和位移參數，結合前一時刻相機的位姿，更新得到當前時刻的相機位姿。

進一步，所述步驟二具體包括：

S21、將單目視覺圖像序列數據分為訓練集和測試集；