[發(fā)明專(zhuān)利]基于語(yǔ)義平面的單目即時(shí)定位與致密語(yǔ)義地圖構(gòu)建方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110394142.0
• 申請(qǐng)日: 2021-04-13
• 公開(kāi)（公告）號(hào): CN113192133B
• 公開(kāi)（公告）日: 2022-08-05
• 發(fā)明（設(shè)計(jì)）人: 潘赟;包瑤琦;楊哲;朱懷宇
• 申請(qǐng)（專(zhuān)利權(quán)）人: 浙江大學(xué)
• 主分類(lèi)號(hào): G06T7/73
• 分類(lèi)號(hào): G06T7/73;G06T7/66;G06T7/55;G06V10/50;G06V10/74;G06V10/26;G01C21/32
• 代理公司: 杭州斯可睿專(zhuān)利事務(wù)所有限公司 33241
• 代理人: 王利強(qiáng)

一種基于語(yǔ)義平面的單目視覺(jué)即時(shí)定位與致密語(yǔ)義地圖構(gòu)建方法，當(dāng)新一幀圖像出現(xiàn)時(shí)，首先檢測(cè)新一幀圖像中的特征點(diǎn)，若系統(tǒng)已初始化，根據(jù)關(guān)鍵幀隊(duì)列進(jìn)行相機(jī)當(dāng)前位置追蹤；判斷新一幀圖像是否為關(guān)鍵幀，若是則將其輸入到語(yǔ)義分割網(wǎng)絡(luò)中獲取該幀像素級(jí)語(yǔ)義標(biāo)簽；將新關(guān)鍵幀加入關(guān)鍵幀隊(duì)列，并進(jìn)行聯(lián)合優(yōu)化，判斷關(guān)鍵幀隊(duì)列數(shù)量是否超出最大值，若已超出最大值，挑選出舊關(guān)鍵幀中與新關(guān)鍵幀共視點(diǎn)個(gè)數(shù)最少的一幀關(guān)鍵幀進(jìn)行邊緣化；邊緣化幀中靜態(tài)語(yǔ)義類(lèi)像素點(diǎn)根據(jù)其同語(yǔ)義類(lèi)最近的語(yǔ)義質(zhì)心點(diǎn)對(duì)應(yīng)的語(yǔ)義小平面進(jìn)行3D位置估計(jì)，進(jìn)而恢復(fù)出致密的語(yǔ)義地圖。本發(fā)明提升其定位精度，減少大量的計(jì)算復(fù)雜度，同時(shí)也避免了追蹤每一個(gè)像素點(diǎn)給系統(tǒng)帶來(lái)的不穩(wěn)定性。

技術(shù)領(lǐng)域

本發(fā)明涉及即時(shí)定位與地圖構(gòu)建(SLAM)技術(shù)領(lǐng)域，尤其涉及一種基于語(yǔ)義平面的單目視覺(jué)即時(shí)定位與致密語(yǔ)義地圖構(gòu)建方法。

背景技術(shù)

即時(shí)定位與地圖構(gòu)建(Simultaneous Localization and Mapping,SLAM)是機(jī)器人相關(guān)應(yīng)用的基礎(chǔ)技術(shù)之一。SLAM技術(shù)按照傳感器種類(lèi)可分為視覺(jué)即時(shí)定位與地圖構(gòu)建(visual Simultaneous Localization and Mapping,vSLAM)以及激光即時(shí)定位與地圖構(gòu)建(LiDAR Simultaneous Localization and Mapping)。由于相對(duì)成本低且紋理信息更豐富，vSLAM被廣泛應(yīng)用于自動(dòng)駕駛、增強(qiáng)現(xiàn)實(shí)、服務(wù)機(jī)器人等領(lǐng)域。具體地，按照相機(jī)種類(lèi)，vSLAM可細(xì)分為單目SLAM，RGBD-SLAM，雙目SLAM。雙目相機(jī)的優(yōu)點(diǎn)是探測(cè)距離遠(yuǎn)，但是標(biāo)定復(fù)雜、視差計(jì)算對(duì)計(jì)算資源消耗大，主要應(yīng)用于室外場(chǎng)景；RGBD相機(jī)的優(yōu)點(diǎn)是可通過(guò)結(jié)構(gòu)光或者ToF直接得到物體深度信息，但是測(cè)量范圍有限且易受日光干擾，主要應(yīng)用于室外場(chǎng)景；單目相機(jī)的優(yōu)點(diǎn)是結(jié)構(gòu)簡(jiǎn)單、成本低且標(biāo)定簡(jiǎn)單，但是缺乏尺度信息，室外場(chǎng)景與室內(nèi)場(chǎng)景均有應(yīng)用。

隨著人工智能技術(shù)的不斷發(fā)展以及相關(guān)應(yīng)用需求的驅(qū)動(dòng)，基于深度學(xué)習(xí)的vSLAM成為相關(guān)領(lǐng)域的研究熱點(diǎn)。相關(guān)研究表明，神經(jīng)網(wǎng)絡(luò)中的高層次特征作為傳統(tǒng)手工特征的補(bǔ)充，能夠提升vSLAM定位的魯棒性。同時(shí)將高層次特征融入所構(gòu)建的地圖，能夠提升系統(tǒng)對(duì)環(huán)境的理解能力。部分研究將RGBD-SLAM與神經(jīng)網(wǎng)絡(luò)結(jié)合構(gòu)建室內(nèi)場(chǎng)景下致密語(yǔ)義地圖，部分研究將雙目-SLAM與神經(jīng)網(wǎng)絡(luò)結(jié)合構(gòu)建室外場(chǎng)景下致密語(yǔ)義地圖。相比于傳統(tǒng)點(diǎn)云地圖，致密環(huán)境語(yǔ)義地圖不僅僅是包含幾何位置信息的點(diǎn)的集合，還通過(guò)語(yǔ)義信息的加入使得機(jī)器人能夠直接通過(guò)該地圖理解所身處的環(huán)境。

傳統(tǒng)單目vSLAM按照所構(gòu)建環(huán)境地圖中點(diǎn)云密度可分為稀疏類(lèi)與致密類(lèi)，稀疏類(lèi)方法選擇圖像中具有代表性的點(diǎn)(例如角點(diǎn)、SIFT特征點(diǎn))進(jìn)行追蹤以及重建，而致密類(lèi)方法則嘗試追蹤所有像素點(diǎn)。不對(duì)圖像中的像素點(diǎn)加以篩選而嘗試追蹤所有像素點(diǎn)雖然可以構(gòu)建致密的環(huán)境地圖，但是會(huì)帶來(lái)巨大的計(jì)算量同時(shí)降低系統(tǒng)的魯棒性以及定位精度。對(duì)于單目SLAM而言，現(xiàn)有的方法在定位精度以及構(gòu)建致密語(yǔ)義地圖之間難以達(dá)到平衡，無(wú)法在保證定位精度的前提下構(gòu)建致密的環(huán)境語(yǔ)義地圖。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于語(yǔ)義平面的單目視覺(jué)即時(shí)定位與致密語(yǔ)義地圖構(gòu)建方法，將語(yǔ)義分割網(wǎng)絡(luò)得到環(huán)境語(yǔ)義信息融入傳統(tǒng)vSLAM系統(tǒng)中，利用人造環(huán)境下語(yǔ)義平面分布特性提升定位精度，同時(shí)通過(guò)對(duì)大量語(yǔ)義小平面的進(jìn)行建模，進(jìn)而從稀疏點(diǎn)云中恢復(fù)出環(huán)境的致密語(yǔ)義地圖。

本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案是：

一種基于語(yǔ)義平面的單目視覺(jué)即時(shí)定位與致密語(yǔ)義地圖構(gòu)建方法，包括以下步驟：

步驟1，當(dāng)新一幀圖像出現(xiàn)時(shí)，首先檢測(cè)新一幀圖像中的特征點(diǎn)，然后判斷系統(tǒng)是否已初始化；若未初始化則進(jìn)行初始化，建立最初兩幀間的對(duì)應(yīng)關(guān)系；若已初始化，則根據(jù)關(guān)鍵幀隊(duì)列進(jìn)行相機(jī)當(dāng)前位置追蹤；

步驟2，判斷新一幀圖像是否為關(guān)鍵幀；若不是關(guān)鍵幀，則根據(jù)新一幀圖像對(duì)當(dāng)前局部地圖進(jìn)行完善；若是關(guān)鍵幀，則將其輸入到語(yǔ)義分割網(wǎng)絡(luò)中獲取該幀像素級(jí)語(yǔ)義標(biāo)簽；