[發(fā)明專利]實時高度映射

有效

• 申請?zhí)枺?/td>: 201780037984.2
• 申請日: 2017-05-12
• 公開（公告）號: CN109416843B
• 公開（公告）日: 2022-12-06
• 發(fā)明（設(shè)計）人: 安德魯·戴維森;斯特凡·萊烏特尼格爾;亞采克·齊恩凱維茨
• 申請（專利權(quán)）人: 帝國理工學院創(chuàng)新有限公司
• 主分類號: G06T17/05
• 分類號: G06T17/05;G06V20/10;G06T7/579;G06T17/00;G06T17/30
• 代理公司: 北京康信知識產(chǎn)權(quán)代理有限責任公司 11240
• 代理人: 梁麗超;李子光

本文中描述的某些示例涉及適合于映射3D空間的設(shè)備和技術(shù)。在示例中，從由至少一個圖像捕捉裝置提供的深度圖和相機姿態(tài)輸入中實時生成高度圖。高度圖可被處理為生成自由空間圖，從而確定機器人裝置的空間的可導(dǎo)航部分。

技術(shù)領(lǐng)域

本發(fā)明涉及用于映射三維(3D)空間的技術(shù)。本發(fā)明具體但非排他性地與基于來自單目相機的圖像序列生成高度圖相關(guān)，該序列是在相機相對于3D空間移動期間捕捉的。

背景技術(shù)

在計算機視覺和機器人領(lǐng)域，為了在3D空間(例如，室內(nèi))導(dǎo)航，機器人裝置可采用一系列技術(shù)。

簡單的導(dǎo)航解決方案可依賴于有限的感知和簡單的算法，例如，紅外或超聲波傳感器，該傳感器檢測站點線(line of site，視線)內(nèi)的對象，然后，可以避開。

可替代地，更高級的解決方案可以使用各種工具和方法來構(gòu)建周邊3D空間的表示，以實現(xiàn)3D空間的導(dǎo)航。用于構(gòu)建3D空間表示的已知技術(shù)包括“運動恢復(fù)結(jié)構(gòu)(structurefrom motion)”和“多視點立體(multi-view stereo)”。稱為“稀疏(sparse)”的某些技術(shù)使用數(shù)量減少的點或特征，例如，十到一百個，來生成表示。這些技術(shù)可與生成具有數(shù)千或數(shù)百萬個點的表示的“密集”技術(shù)形成對比。通常，“稀疏”技術(shù)更容易實時實現(xiàn)，例如，每秒30幀左右的幀率，因為它們使用有限數(shù)量的點或特征，從而與資源更密集的“密集”映射技術(shù)相比，限制了處理的程度。

雖然諸如Simultaneous Localisation And Mapping(SLAM)(see J Engel,TSchoeps,and D.Cremers.LSDSLAM:Large-scale direct monocular SLAM.InProceedings of the European Conference on Computer Vision(ECCV),2014,andR.Mur-Artal and JD.Tardos.ORB-SLAM:Tracking and mapping recognizablefeatures.In Workshop on Multi View Geometry in Robotics(MVIGRO)-RSS 2014,2014)等技術(shù)取得了很大的進步，但是更高級的解決方案通常依賴大量的計算資源和專門的傳感器裝置(例如，激光探測和測距LADAR傳感器、結(jié)構(gòu)光傳感器或飛行時間深度相機)，這使得難以轉(zhuǎn)換成嵌入式計算裝置，而嵌入式計算裝置傾向于控制現(xiàn)實世界的商用機器人裝置，例如，相較低成本的家用地板清潔機器人。

因此，需要一種可以在低成本機器人裝置上實現(xiàn)的密集實時映射解決方案。

發(fā)明內(nèi)容

根據(jù)本發(fā)明的第一方面，提供了一種用于映射觀察的3D空間的設(shè)備。所述設(shè)備包括：映射引擎，其被配置為生成所述空間的表面模型；深度數(shù)據(jù)接口，用于獲得所述空間的測量深度圖；姿態(tài)數(shù)據(jù)接口，用于獲得對應(yīng)于測量深度圖的姿態(tài)；以及可微渲染器。可微渲染器根據(jù)所述表面模型和來自所述姿態(tài)數(shù)據(jù)接口的姿態(tài)，渲染預(yù)測深度圖；并且計算預(yù)測深度值相對于表面模型的幾何形狀的偏導(dǎo)數(shù)。所述映射引擎還被配置為：評估至少包括預(yù)測深度圖和測量深度圖之間的誤差的成本函數(shù)；使用可微渲染器的偏導(dǎo)數(shù)，降低成本函數(shù)；并且使用降低成本函數(shù)的幾何參數(shù)，更新表面模型。優(yōu)選地，所述可微渲染器和所述映射引擎還被配置為迭代重復(fù)其相應(yīng)的步驟：使用更新的表面模型重新渲染預(yù)測深度圖；降低成本函數(shù)；并且更新表面模型。更優(yōu)選地，更新表面模型直到深度圖優(yōu)化(從成本函數(shù)最小化)收斂。

在某些示例中，表面模型包括固定拓撲三角形網(wǎng)格。在其他示例中，表面模型包括相對于空間內(nèi)的參考平面的一組高度值。

在一些情況下，所述映射引擎還被配置為對高度值應(yīng)用閾值限制，以計算相對于參考平面的可導(dǎo)航空間。

在一個變型中，所述映射引擎實現(xiàn)生成模型，所述生成模型提供空間的深度圖作為至少規(guī)定表面模型和姿態(tài)作為參數(shù)的采樣變量。