[發(fā)明專(zhuān)利]一種基于軌跡對(duì)齊的語(yǔ)義建圖方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011644778.8
• 申請(qǐng)日: 2020-12-31
• 公開(kāi)（公告）號(hào): CN112833892B
• 公開(kāi)（公告）日: 2022-12-16
• 發(fā)明（設(shè)計(jì)）人: 張亮;朱光明;汪火良;蔣得志
• 申請(qǐng)（專(zhuān)利權(quán)）人: 杭州自適應(yīng)科技有限公司
• 主分類(lèi)號(hào): G01C21/32
• 分類(lèi)號(hào): G01C21/32
• 代理公司: 杭州知見(jiàn)專(zhuān)利代理有限公司 33295
• 代理人: 盧金元

本發(fā)明公開(kāi)了一種基于軌跡對(duì)齊的語(yǔ)義建圖方法，其方法包括：S1、沿同一條運(yùn)行軌跡同步采集RGB數(shù)據(jù)、激光數(shù)據(jù)、IMU數(shù)據(jù)和里程計(jì)數(shù)據(jù)；S2、通過(guò)語(yǔ)義ORB?SLAM，在利用RGB數(shù)據(jù)進(jìn)行ORB追蹤的同時(shí)，對(duì)每一幀關(guān)鍵幀圖像進(jìn)行目標(biāo)檢測(cè)，再構(gòu)建三角化關(guān)系，提取3D語(yǔ)義地標(biāo)；S3、利用降采樣操作對(duì)激光數(shù)據(jù)進(jìn)行過(guò)濾，并對(duì)IMU數(shù)據(jù)和里程計(jì)數(shù)據(jù)進(jìn)行計(jì)算處理；S4、處理激光數(shù)據(jù)、IMU數(shù)據(jù)和里程計(jì)數(shù)據(jù)，構(gòu)建2D柵格地圖；S5、利用ORB?SLAM和軌跡序列求解兩者之間的相似變換關(guān)系，將3D語(yǔ)義地標(biāo)和2D柵格地圖進(jìn)行融合，生成語(yǔ)義地圖。本方案可以構(gòu)建精確的帶語(yǔ)義地標(biāo)的柵格地圖。

技術(shù)領(lǐng)域

本發(fā)明屬于語(yǔ)義建圖領(lǐng)域，涉及一種基于軌跡對(duì)齊的語(yǔ)義建圖方法，可用于周?chē)h(huán)境的語(yǔ)義地圖的構(gòu)建。

背景技術(shù)

SLAM(simultaneous localization and mapping，同步定位與建圖)技術(shù)能夠幫助機(jī)器人在陌生環(huán)境中借助傳感器獲取信息逐步構(gòu)建出周?chē)h(huán)境的地圖，同時(shí)還能根據(jù)環(huán)境信息的變化定位出自身在地圖中所處的位置，這項(xiàng)技術(shù)能夠幫助移動(dòng)機(jī)器人實(shí)現(xiàn)自主導(dǎo)航任務(wù)。傳統(tǒng)SLAM技術(shù)分為兩大類(lèi)，但均僅局限于環(huán)境幾何特征的分析，機(jī)器人憑借傳統(tǒng)SLAM生成的地圖只能實(shí)現(xiàn)躲避障礙物、路徑規(guī)劃等一些非常基礎(chǔ)的功能。近年來(lái)語(yǔ)義SLAM的研究已經(jīng)取得一定進(jìn)展，借助越來(lái)越成熟的基于深度學(xué)習(xí)的圖像處理技術(shù)，從圖像中提取環(huán)境物體的語(yǔ)義信息，并將語(yǔ)義信息融入到語(yǔ)義SLAM的處理過(guò)程以及結(jié)果中，進(jìn)一步提高算法的精度以及豐富地圖結(jié)果。當(dāng)前激光SLAM雖然借助激光雷達(dá)傳感器能夠生成精度較高、適用于機(jī)器人導(dǎo)航的環(huán)境地圖，但由于激光雷達(dá)傳感器是依靠激光飛行時(shí)間法直接獲得點(diǎn)云信息的，所以不容易提取到環(huán)境中的語(yǔ)義信息。而視覺(jué)SLAM利用相機(jī)傳感器采集環(huán)境的圖像序列來(lái)進(jìn)行定位與建圖，這類(lèi)傳感器數(shù)據(jù)獲取到的環(huán)境信息更加豐富且能夠用來(lái)提取語(yǔ)義信息，不過(guò)容易受到環(huán)境條件的影響，所以視覺(jué)SLAM的建圖精度往往要比激光SLAM差。

傳統(tǒng)SLAM僅能構(gòu)建出環(huán)境的幾何特征地圖，機(jī)器人利用這類(lèi)地圖所能完成的任務(wù)還十分有限，而語(yǔ)義SLAM可以進(jìn)一步提高機(jī)器人對(duì)環(huán)境的理解程度，機(jī)器人利用語(yǔ)義地圖也可以完成更加復(fù)雜的任務(wù)，因此，研究多傳感器融合的語(yǔ)義建圖方法在語(yǔ)義SLAM領(lǐng)域具有重大意義。

發(fā)明內(nèi)容

為了解決上述問(wèn)題，本發(fā)明提供一種基于軌跡對(duì)齊的語(yǔ)義建圖方法，首先在ORB(Oriented Fast and Rotated Brief)-SLAM中加入目標(biāo)檢測(cè)過(guò)程，能夠提取出環(huán)境物體的3D語(yǔ)義地標(biāo)信息；同時(shí)利用激光雷達(dá)數(shù)據(jù)、IMU數(shù)據(jù)、里程計(jì)數(shù)據(jù)構(gòu)建高精度的2D柵格地圖；最后求解前兩者的軌跡序列之間的相似變換關(guān)系對(duì)齊3D地標(biāo)和2D地圖，生成語(yǔ)義地圖，解決了傳統(tǒng)SLAM中存在的問(wèn)題。

本發(fā)明所采用的技術(shù)方案是：

一種基于軌跡對(duì)齊的語(yǔ)義建圖方法，包括以下步驟：

S1、沿同一條運(yùn)行軌跡同步采集RGB數(shù)據(jù)、激光數(shù)據(jù)、IMU(慣性測(cè)量單元)數(shù)據(jù)和里程計(jì)數(shù)據(jù)；

S2、通過(guò)語(yǔ)義ORB-SLAM，在利用RGB數(shù)據(jù)進(jìn)行ORB追蹤的同時(shí)，對(duì)每一幀關(guān)鍵幀圖像進(jìn)行目標(biāo)檢測(cè)，再根據(jù)相鄰關(guān)鍵幀之間的目標(biāo)檢測(cè)結(jié)果構(gòu)建三角化關(guān)系，提取3D語(yǔ)義地標(biāo)；

S3、利用降采樣操作對(duì)激光數(shù)據(jù)進(jìn)行過(guò)濾，降低計(jì)算量，并對(duì)IMU數(shù)據(jù)和里程計(jì)數(shù)據(jù)進(jìn)行計(jì)算處理；

S4、通過(guò)Cartographer算法處理激光數(shù)據(jù)、IMU數(shù)據(jù)和里程計(jì)數(shù)據(jù)，構(gòu)建2D柵格地圖；

S5、利用ORB-SLAM和Cartographer算法生成的軌跡序列求解兩者之間的相似變換關(guān)系，將3D語(yǔ)義地標(biāo)和2D柵格地圖進(jìn)行融合，生成語(yǔ)義地圖。