[發明專利]基于在線學習深度預測網絡的實時稠密單目SLAM方法與系統

有效

• 申請號: 201711227295.6
• 申請日: 2017-11-29
• 公開（公告）號: CN107945265B
• 公開（公告）日: 2019-09-20
• 發明（設計）人: 楊欣;羅鴻城;高楊;吳宇豪
• 申請（專利權）人: 華中科技大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/70;G06N3/04
• 代理公司: 深圳市六加知識產權代理有限公司 44372
• 代理人: 嚴泉玉

本發明公開了一種基于在線學習深度預測網絡的實時稠密單目SLAM方法：通過最小化高梯度點的光度誤差優化得到關鍵幀的相機姿態，并且采用三角測量法預測高梯度點的深度得到當前幀的半稠密地圖；選擇在線訓練圖片對，采用逐塊隨機梯度下降法在線訓練更新CNN網絡模型，并利用訓練后CNN網絡模型對當前幀圖片進行深度預測得到稠密地圖；根據所述當前幀的半稠密地圖和預測稠密地圖進行深度尺度回歸，得到當前幀深度信息的絕對尺度因子；采用NCC得分投票方法根據所述兩種投影結果選擇所述當前幀的各像素深度預測值得到預測深度圖，并對所述預測深度圖進行高斯融合得到最終深度圖。本發明還提供了相應的基于在線學習深度預測網絡的實時稠密單目SLAM系統。

技術領域

本發明屬于計算機視覺三維重建技術領域，更具體地，涉及一種基于在線學習深度預測網絡的實時稠密單目SLAM方法與系統。

背景技術

即時定位與地圖重建技術(Simultaneous Localization And Mapping，SLAM)可以實時的預測傳感器的位姿并且重建出周圍環境的3D地圖，因此在無人機避障以及增強現實等領域發揮著重要的作用。其中，僅僅依靠單個攝像頭作為輸入傳感器的SLAM系統被稱為單目SLAM系統。單目SLAM具有低功耗、硬件門檻低以及操作簡單等特性，被研究人員廣泛使用。但是，現有流行的單目SLAM系統，無論是基于特征方法的PTAM(Parallel TrackingAnd Mapping For Small AR Workspaces)和ORB-SLAM(Orb-slam:AVersatile AndAccurate Monocular Slam System)，還是采用直接法的LSD-SLAM(Lsd-slam:Large-scaleDirect Monocular Slam)，都存在兩個主要的問題：(1)只能構建出場景的稀疏或者半稠密的地圖，因為只有少數關鍵點或是高梯度點的深度可以計算出來；(2)具有尺度不確定性，存在尺度飄移的現象。

近幾年，用于單目圖片深度估計的深度卷積神經網絡(Convolutional NeuralNetwork，CNN)已經取得了巨大的進步，其主要原理是在大量的訓練數據之中學習物體的深度和形狀、紋理、場景語義以及場景上下文等之間的內在聯系，從而準確預測輸入到網絡之中圖片的深度信息。將CNN與單目SLAM結合不但可以提高建圖的完整率，還可以獲得絕對的尺度信息，因此彌補了單目SLAM的缺陷與不足。目前，最成功將兩者結合的系統被稱為CNN-SLAM(Cnn-slam:Realtime Dense Monocular Slam With Learned Depth Prediction)，該系統把CNN深度預測的結果作為SLAM關鍵幀的初始深度值，然后采用像素匹配、三角測量和圖優化的方法對關鍵幀中高梯度點的深度進行優化，從而獲得稠密的3D重建結果，并使尺度信息更加接近真實尺度。雖然取得了一定的效果，但是該系統仍存在以下問題：

(1)只有少數高梯度像素點的深度值被優化，大部分低梯度像素點的深度值沒有變化，造成重建效果不理想，特別是對于未知場景；(2)利用CNN輸出之中高梯度像素點的深度信息來預測尺度信息不夠準確，造成初始化不夠充分，會增大SLAM系統建圖和追蹤的誤差。

發明內容

針對現有技術的以上缺陷或改進需求，本發明提供了一種將在線學習深度預測網絡與單目SLAM相結合的方法與系統，其目的在于充分利用深度卷積神經網絡的優勢實現對于單目SLAM系統關鍵幀的稠密深度估計，并根據結果恢復場景真實尺度信息，由此解決傳統單目SLAM缺少尺度信息和不能實現稠密建圖的技術問題。

為實現上述目的，按照本發明的一個方面，提供了一種基于在線學習深度預測網絡的實時稠密單目SLAM方法，包括：

(1)從單目視覺傳感器通過旋轉和平移運動采集的圖片序列中選擇關鍵幀，通過最小化高梯度點的光度誤差優化得到關鍵幀的相機姿態，并且采用三角測量法預測高梯度點的深度得到當前幀的半稠密地圖；