[發(fā)明專利]基于全景環(huán)形透鏡的視覺(jué)SLAM系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110908947.2
• 申請(qǐng)日: 2021-08-09
• 公開(kāi)（公告）號(hào): CN113705369A
• 公開(kāi)（公告）日: 2021-11-26
• 發(fā)明（設(shè)計(jì)）人: 王軍華;王鼎;田雨涵;曹宇翔;王施相;徐敏
• 申請(qǐng)（專利權(quán)）人: 復(fù)旦大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46;G06K9/62
• 代理公司: 蘇州拓云知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 32344
• 代理人: 李鋒

本發(fā)明公開(kāi)了一種基于全景環(huán)形透鏡的視覺(jué)SLAM系統(tǒng)及方法，該系統(tǒng)包括：獲取單元，通過(guò)搭載所述全景環(huán)形透鏡的相機(jī)以某一幀率采集圖像序列后；識(shí)別單元，通過(guò)分析圖像處理后的結(jié)果，然后對(duì)PAL圖像的環(huán)形有效區(qū)域的場(chǎng)景特征進(jìn)行識(shí)別和提取，并進(jìn)行幀間匹配；定位單元，選擇相應(yīng)的跟蹤模型來(lái)估計(jì)位姿并進(jìn)行優(yōu)化；建圖單元，通過(guò)獲取單元、定位單元繪制出相機(jī)所在運(yùn)動(dòng)載體的行駛軌跡，并計(jì)算環(huán)境中特征點(diǎn)的空間坐標(biāo)從而重建出場(chǎng)景地圖。本發(fā)明采用了全景環(huán)形透鏡以獲取更多的場(chǎng)景特征，并通過(guò)篩選有效區(qū)域的特征以及采用自適應(yīng)閾值剔除誤差較大的點(diǎn)，有效提高了定位精度。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于全景環(huán)形透鏡的視覺(jué)SLAM(Simultaneous Localizationand Mapping，同步定位與地圖構(gòu)建)系統(tǒng)及方法。

背景技術(shù)

隨著移動(dòng)機(jī)器人、無(wú)人駕駛技術(shù)和增強(qiáng)現(xiàn)實(shí)技術(shù)的快速發(fā)展，同步定位與地圖構(gòu)建(Simultaneous Localization and Mapping，SLAM)作為其中的核心模塊成為了業(yè)內(nèi)的研究熱點(diǎn)，它能實(shí)現(xiàn)移動(dòng)機(jī)器人(或移動(dòng)設(shè)備)在未知環(huán)境中的定位與建圖功能。與使用激光雷達(dá)相比，使用視覺(jué)傳感器擁有模型簡(jiǎn)單、信息量大、成本低廉、便于安裝和功耗低等優(yōu)點(diǎn)，但是不可忽視的是其作為被動(dòng)傳感器易受到環(huán)境的影響，例如光照的變化、塵霧等。因此提升視覺(jué)SLAM系統(tǒng)的穩(wěn)定性與精度成為該領(lǐng)域的一項(xiàng)重要工作。

傳統(tǒng)的視覺(jué)SLAM大多是基于傳統(tǒng)的針孔相機(jī)，其有限的視場(chǎng)角會(huì)導(dǎo)致相機(jī)發(fā)生快速移動(dòng)、旋轉(zhuǎn)或環(huán)境中存在動(dòng)態(tài)物體時(shí)，無(wú)法進(jìn)行正確定位和建圖。因此人們考慮將大視場(chǎng)相機(jī)引入SLAM的應(yīng)用中。而魚(yú)眼鏡頭的畸變很難控制在視場(chǎng)邊緣，會(huì)導(dǎo)致圖像質(zhì)量下降。多攝像機(jī)全景成像系統(tǒng)通過(guò)拼接由幾個(gè)攝像機(jī)同時(shí)捕獲的圖像來(lái)合成全景視圖，導(dǎo)致系統(tǒng)整體可能龐大且昂貴。此外，多攝像機(jī)系統(tǒng)必須注意不同攝像機(jī)之間的同步和數(shù)據(jù)融合，這將導(dǎo)致計(jì)算成本的增加。反折射相機(jī)中使用的鏡子通常很大且不規(guī)則，難以制造，需要高精度對(duì)準(zhǔn)，它阻礙了這種反折射系統(tǒng)的廣泛使用。

發(fā)明內(nèi)容

針對(duì)上述情況，為了克服現(xiàn)有技術(shù)的缺陷，本發(fā)明提供一種基于全景環(huán)形透鏡的視覺(jué)SLAM系統(tǒng)及方法。

本發(fā)明是通過(guò)下述技術(shù)方案來(lái)解決上述技術(shù)問(wèn)題的：一種基于全景環(huán)形透鏡的視覺(jué)SLAM系統(tǒng)，其特征在于，其包括：

獲取單元，通過(guò)搭載所述全景環(huán)形透鏡的相機(jī)以某一幀率采集圖像序列后，然后進(jìn)行一些初步的圖像處理；

識(shí)別單元，通過(guò)分析圖像處理后的結(jié)果，然后對(duì)PAL圖像的環(huán)形有效區(qū)域的場(chǎng)景特征進(jìn)行識(shí)別和提取，并進(jìn)行幀間匹配；

定位單元，通過(guò)獲取單元、識(shí)別單元所獲得的數(shù)據(jù)選擇相應(yīng)的跟蹤模型來(lái)估計(jì)位姿并進(jìn)行優(yōu)化，從而確定相機(jī)所在運(yùn)動(dòng)載體在環(huán)境中的定位信息；

建圖單元，通過(guò)獲取單元、定位單元繪制出相機(jī)所在運(yùn)動(dòng)載體的行駛軌跡，并計(jì)算環(huán)境中特征點(diǎn)的空間坐標(biāo)從而重建出場(chǎng)景地圖。

優(yōu)選地，所述獲取單元包括圖像獲取模塊和圖像處理模塊，圖像獲取模塊獲取圖像序列，圖像處理模塊將對(duì)圖像獲取模塊獲取的圖像進(jìn)行處理，處理方式包括伽馬校正、高光抑制。

優(yōu)選地，所述識(shí)別單元包括盲區(qū)去除模塊、特征提取模塊、特征匹配模塊，盲區(qū)去除模塊將識(shí)別出盲區(qū)部分，以避免在此區(qū)域提取和匹配特征點(diǎn)；特征提取模塊將對(duì)有效區(qū)域內(nèi)的特征點(diǎn)進(jìn)行提取，特征匹配模塊將對(duì)提取的特征點(diǎn)進(jìn)行匹配。

優(yōu)選地，所述定位單元包括初始化模塊、特征跟蹤模塊和位姿優(yōu)化模塊，初始化模塊將對(duì)系統(tǒng)進(jìn)行初始化從而得到初始位姿和地圖點(diǎn)，特征跟蹤模塊根據(jù)獲取單元、識(shí)別單元所獲數(shù)據(jù)選擇相應(yīng)的跟蹤模型來(lái)估計(jì)位姿，位姿優(yōu)化模塊對(duì)位姿進(jìn)行優(yōu)化，從而進(jìn)行相機(jī)所在運(yùn)動(dòng)載體的定位過(guò)程。