[發(fā)明專利]動態(tài)場景機(jī)器人定位建圖系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 201810298042.6
• 申請日: 2018-04-04
• 公開（公告）號: CN108596974B
• 公開（公告）日: 2020-08-04
• 發(fā)明（設(shè)計）人: 劉辛軍;于超;喬飛;謝福貴;王智杰
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T17/00
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 張潤

本發(fā)明公開了一種動態(tài)場景機(jī)器人定位建圖系統(tǒng)及方法，其中，系統(tǒng)包括：語義分割線程用于根據(jù)RGB圖像獲取語義分割結(jié)果，生成帶有語義信息的語義圖像；位姿估測線程用于根據(jù)RGB圖像獲取ORB特征點(diǎn)，通過運(yùn)動型一致性檢測獲得運(yùn)動區(qū)域，結(jié)合語義圖像的語義信息剔除動態(tài)目標(biāo)上的外點(diǎn)，并通過匹配剩余穩(wěn)定目標(biāo)的特征點(diǎn)得到變換矩陣，生成語義圖像關(guān)鍵幀；稠密語義八叉樹地圖建立線程用于根據(jù)語義圖像關(guān)鍵幀生成帶語義標(biāo)簽的3D稠密八叉樹地圖。該系統(tǒng)通過將語義分割網(wǎng)絡(luò)與運(yùn)動一致性檢測法相結(jié)合，完成對動態(tài)物體的剔除，并且構(gòu)建的語義稠密八叉樹地圖，能夠服務(wù)于更高層次的工作，從而有效提高了定位建圖的適用性、實(shí)用性和魯棒性。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器人定位建圖技術(shù)領(lǐng)域，特別涉及一種動態(tài)場景機(jī)器人定位建圖系統(tǒng)及方法。

背景技術(shù)

機(jī)器人定位建圖系統(tǒng)主要依賴SLAM(Simultaneous Localization and Mapping，實(shí)時定位與地圖構(gòu)建)技術(shù)，該技術(shù)被視作移動智能機(jī)器人的一項(xiàng)重要技術(shù)，最早于1988年提出。機(jī)器人通過傳感器獲取周圍環(huán)境的相關(guān)數(shù)據(jù)進(jìn)行地圖構(gòu)建，然后將當(dāng)前所感知到的環(huán)境特征與地圖中的特征進(jìn)行匹配，從而完成定位。

根據(jù)傳感器類型的不同，SLAM技術(shù)主要可以分為激光SLAM和視覺SLAM。由于圖像在信息存儲上的豐富性，以及圖像對于一些更高層次工作(如語義分割與物體檢測)的服務(wù)型，視覺SLAM技術(shù)在近年來被廣泛研究。此外，當(dāng)下的視覺SLAM技術(shù)往往都是一個完整的架構(gòu)，包含了特征提取、回環(huán)檢測等部分，如ORB-SLAM2，LSD-SLAM等現(xiàn)有的視覺SLAM技術(shù)已經(jīng)在某些環(huán)境下取得了較好的試驗(yàn)結(jié)果。

但在現(xiàn)有的機(jī)器人定位建圖系統(tǒng)中，所應(yīng)用的SLAM技術(shù)仍然存在著一些問題。一方面是如何讓機(jī)器人的定位系統(tǒng)能夠適應(yīng)復(fù)雜多變的環(huán)境，例如環(huán)境中存在動態(tài)物體；另一方面是如何依靠SLAM技術(shù)構(gòu)建更有價值的地圖，提供更多的信息來服務(wù)于系統(tǒng)的高層次的應(yīng)用。

發(fā)明內(nèi)容

本發(fā)明旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問題之一。

為此，本發(fā)明的一個目的在于提出一種動態(tài)場景機(jī)器人定位建圖系統(tǒng)，該系統(tǒng)可以有效提高了定位建圖的適用性、實(shí)用性和魯棒性。

本發(fā)明的另一個目的在于提出一種動態(tài)場景機(jī)器人定位建圖方法。

為達(dá)到上述目的，本發(fā)明一方面實(shí)施例提出了一種動態(tài)場景機(jī)器人定位建圖系統(tǒng)，為5線程架構(gòu)，包括：語義分割線程，采用深度學(xué)習(xí)技術(shù)實(shí)時的獲取語義分割結(jié)果，以生成帶有語義信息的語義圖像；位姿估測線程，根據(jù)RGB圖像獲取ORB特征點(diǎn)，通過運(yùn)動一致性檢測獲得運(yùn)動區(qū)域，結(jié)合語義分割的信息剔除動態(tài)區(qū)域上的外點(diǎn)，并通過匹配剩余穩(wěn)定目標(biāo)的特征點(diǎn)得到變換矩陣，生成語義圖像關(guān)鍵幀；稠密語義八叉樹地圖線程，用于根據(jù)所述語義圖像的關(guān)鍵幀生成帶語義標(biāo)簽的3D稠密語義八叉樹地圖，完成動態(tài)目標(biāo)的剔除，可用于高級復(fù)雜任務(wù)。后端優(yōu)化線程，用于對所述關(guān)鍵幀進(jìn)行局部優(yōu)化和關(guān)鍵幀篩選；回環(huán)線程，用于對局部優(yōu)化和關(guān)鍵幀篩選的結(jié)果進(jìn)行整體優(yōu)化和回環(huán)檢測。

本發(fā)明實(shí)施例的動態(tài)場景機(jī)器人定位建圖系統(tǒng)，通過將語義分割網(wǎng)絡(luò)與運(yùn)動一致性檢測法相結(jié)合，并對動態(tài)物體的剔除，減少了環(huán)境中運(yùn)動物體對實(shí)時定位與地圖構(gòu)建的影響，提高了在動態(tài)環(huán)境下的定位精度，并且構(gòu)建的稠密八叉樹地圖，能夠服務(wù)于更高層次的工作，從而有效提高了定位建圖的適用性、實(shí)用性和魯棒性。

另外，根據(jù)本發(fā)明上述實(shí)施例的動態(tài)場景機(jī)器人定位建圖系統(tǒng)還可以具有以下附加的技術(shù)特征：

進(jìn)一步地，在本發(fā)明的一個實(shí)施例中，所述語義分割線程與所述位姿估測線程進(jìn)行數(shù)據(jù)交流，與運(yùn)動一致性檢測相結(jié)合剔除環(huán)境中的動態(tài)目標(biāo)。

進(jìn)一步地，在本發(fā)明的一個實(shí)施例中，所述稠密語義八叉樹地圖建立線程還用于通過概率融合法建立穩(wěn)定的3D八叉樹地圖，將動態(tài)目標(biāo)剔除，并與語義信息相融合，該地圖可以用于導(dǎo)航以及機(jī)器人完成高級復(fù)雜任務(wù)。