[發(fā)明專利]一種基于深度特征光流的同時(shí)定位和建圖的方法及裝置

在審

• 申請?zhí)枺?/td>: 202010565428.6
• 申請日: 2020-06-19
• 公開（公告）號: CN111739144A
• 公開（公告）日: 2020-10-02
• 發(fā)明（設(shè)計(jì)）人: 向坤;陶文源;閆野;唐榮富;陶雨薇
• 申請（專利權(quán)）人: 天津大學(xué)
• 主分類號: G06T15/50
• 分類號: G06T15/50;G06T7/80;G06N3/08
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 李林娟

本發(fā)明公開了一種基于深度特征光流的同時(shí)定位和建圖的方法及裝置，方法包括：根據(jù)特征光流映射模型估計(jì)兩幀圖像之間的特征光流信息；設(shè)計(jì)基于特征光流的視覺里程計(jì)，用于圖像的特征提取、特征追蹤、搭載相機(jī)主體的位姿估計(jì)、以及圖像三維特征恢復(fù)；在視覺里程計(jì)追蹤失敗時(shí)，通過重定位技術(shù)完成視覺特征的重新匹配；檢測主體是否運(yùn)動(dòng)到之前已經(jīng)經(jīng)過的區(qū)域，實(shí)現(xiàn)尺度上的位姿優(yōu)化；對視覺里程計(jì)提供的圖像三維特征信息、主體位姿信息進(jìn)行迭代優(yōu)化，減少誤差；使用經(jīng)過后端優(yōu)化的圖像三維特征信息和主體的位姿信息，構(gòu)建出環(huán)境的三維地圖。裝置包括：存儲器、處理器，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)權(quán)利所述的方法步驟。本發(fā)明提供了魯棒精確的方案。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算視覺、深度學(xué)習(xí)領(lǐng)域，尤其涉及一種基于深度特征光流的同時(shí)定位和建圖的方法及裝置。

背景技術(shù)

光流(optical flow)，本質(zhì)上是三維場景下的物體運(yùn)動(dòng)投影到二維圖像平面上，表現(xiàn)出的像素點(diǎn)亮度變化。光流法是在計(jì)算機(jī)視覺領(lǐng)域發(fā)展起來的圖像運(yùn)動(dòng)分析技術(shù)，作為機(jī)器視覺領(lǐng)域的重要研究課題。基于光流法的運(yùn)動(dòng)分析是很多視覺任務(wù)的基礎(chǔ)。

傳統(tǒng)的光流法主要包括HornSchunck(HS)和LucasKanade(LK)法。HS和LK方法的提出均基于一個(gè)最基本的假設(shè)，即同一個(gè)像素點(diǎn)在相鄰兩幀圖像內(nèi)所顯示的亮度(灰度值)是不變的。記在t時(shí)刻，位于(x，y)處的像素點(diǎn)的灰度為I(x，y，t)，設(shè)t+dt時(shí)刻，它運(yùn)動(dòng)到(x+dx，y+dy)處。由于灰度不變，有I(x+dx，y+dy，t+dt)＝I(x，y，t)。

同時(shí)定位和建圖技術(shù)(Simultaneous Localization and Mapping，SLAM)，它是指搭載特定傳感器的主體，在沒有環(huán)境先驗(yàn)信息的情況下開始運(yùn)動(dòng)，在運(yùn)動(dòng)過程中建立環(huán)境的模型，根據(jù)位置估計(jì)和地圖進(jìn)行自身定位，同時(shí)在自身定位的基礎(chǔ)上建造增量式地圖。如果這里的傳感器主要為相機(jī)，那就稱為視覺SLAM。

在視覺SLAM中，系統(tǒng)通過相鄰的兩幀圖像，提取兩幀圖像上的視覺特征信息，通過圖像的特征光流信息完成特征追蹤和匹配，通過建立的幾何模型估計(jì)出相機(jī)的位姿變換。

現(xiàn)實(shí)環(huán)境中，當(dāng)獲取的圖像序列面臨著明顯的光照變化或者三維場景中的物體有著較大的運(yùn)行狀態(tài)時(shí)，傳統(tǒng)的光流估計(jì)就會(huì)有著較大的誤差，從而影響視覺特征追蹤和匹配的準(zhǔn)確性。

發(fā)明內(nèi)容

本發(fā)明提供了一種基于深度特征光流的同時(shí)定位和建圖的方法及裝置，本發(fā)明基于相鄰幀圖像的映射輸入，設(shè)計(jì)了深度神經(jīng)網(wǎng)絡(luò)模型，映射出圖像的深度特征光流信息，為基于特征光流的同時(shí)定位和建圖問題提供魯棒精確的解決方案，詳見下文描述：

一種基于深度特征光流的同時(shí)定位和建圖的方法，所述方法包括：

根據(jù)特征光流映射模型估計(jì)兩幀圖像之間的特征光流信息；

設(shè)計(jì)基于特征光流的視覺里程計(jì)，用于圖像的特征提取、特征追蹤、搭載相機(jī)主體的位姿估計(jì)、以及圖像三維特征恢復(fù)；

在視覺里程計(jì)追蹤失敗時(shí)，通過重定位技術(shù)完成視覺特征的重新匹配；

檢測主體是否運(yùn)動(dòng)到之前已經(jīng)經(jīng)過的區(qū)域，實(shí)現(xiàn)尺度上的位姿優(yōu)化；

對視覺里程計(jì)提供的圖像三維特征信息、主體位姿信息進(jìn)行迭代優(yōu)化，減少誤差；

使用經(jīng)過后端優(yōu)化的圖像三維特征信息和主體的位姿信息，構(gòu)建出環(huán)境的三維地圖。

其中，所述設(shè)計(jì)基于特征光流的視覺里程計(jì)具體為：

S1.1、采集圖像數(shù)據(jù)和特征光流真實(shí)值的數(shù)據(jù)集大樣本，分為訓(xùn)練集和測試集；

S1.2、建立圖像金字塔層相對于層圖像縮放2倍，每層圖像金字塔中進(jìn)行光流特征提取和迭代優(yōu)化；