[發(fā)明專利]基于視覺融合地標(biāo)的拓?fù)涞貓D生成方法

有效

• 申請?zhí)枺?/td>: 202010045875.9
• 申請日: 2020-01-15
• 公開（公告）號: CN111210518B
• 公開（公告）日: 2022-04-05
• 發(fā)明（設(shè)計(jì)）人: 任鵬舉;李創(chuàng);丁焱;趙子瑞;毛藝鈞;鄭南寧
• 申請（專利權(quán)）人: 西安交通大學(xué)
• 主分類號: G06T17/05
• 分類號: G06T17/05;G06T19/20;G06T7/10;G06T7/41;G06K9/62;G06V10/764;G06V10/80
• 代理公司: 北京中濟(jì)緯天專利代理有限公司 11429
• 代理人: 覃婧嬋

本發(fā)明公開基于視覺融合地標(biāo)的拓?fù)涞貓D生成方法，包括：輸入RGB圖像，基于卷積神經(jīng)網(wǎng)絡(luò)對RGB圖像進(jìn)行語義分割，根據(jù)語義分割中間層的特征圖提取出輸出值大于預(yù)定值的點(diǎn)作為特征點(diǎn)；獲取場景的深度圖，基于深度圖的深度信息和特征點(diǎn)在圖像上的二維坐標(biāo)信息，依據(jù)相機(jī)模型獲取特征點(diǎn)的三維坐標(biāo)和機(jī)器人的位姿信息以建立場景的三維地圖，對輸入圖像進(jìn)行基于深度學(xué)習(xí)的紋理分割，獲取每個(gè)像素點(diǎn)在紋理特征空間下的編碼；采用基于模糊數(shù)學(xué)地標(biāo)級數(shù)據(jù)融合方法，獲得點(diǎn)云相對于預(yù)定地標(biāo)的隸屬度分布函數(shù)，根據(jù)語義隸屬度分布函數(shù)和三維地圖，獲得融合地標(biāo)的三維語義地圖；基于融合地標(biāo)的三維語義地圖構(gòu)建拓?fù)涞貓D生成融合地標(biāo)的語義拓?fù)涞貓D。

技術(shù)領(lǐng)域

本發(fā)明屬于機(jī)器人技術(shù)領(lǐng)域，特別是一種基于視覺融合地標(biāo)的拓?fù)涞貓D生成方法。

背景技術(shù)

建圖技術(shù)對于智能機(jī)器人探索任務(wù)環(huán)境、自主完成各種任務(wù)來說至關(guān)重要。智能機(jī)器人在運(yùn)動(dòng)過程中，通過傳感器收集環(huán)境信息，分析數(shù)據(jù)，感知環(huán)境，有助于根據(jù)任務(wù)的需要以及環(huán)境的當(dāng)前狀態(tài)自主地做出相應(yīng)的決策，進(jìn)而完成各項(xiàng)任務(wù)，實(shí)現(xiàn)真正意義上的智能。在機(jī)器人領(lǐng)域，SLAM(同時(shí)定位與構(gòu)圖)技術(shù)是機(jī)器人構(gòu)建地圖、感知環(huán)境的一項(xiàng)關(guān)鍵技術(shù)。機(jī)器人在行進(jìn)過程中通過激光雷達(dá)、相機(jī)等傳感器數(shù)據(jù)，估計(jì)此時(shí)的位置和姿態(tài)，同時(shí)構(gòu)建環(huán)境的地圖。

SLAM技術(shù)按照系統(tǒng)所采用的傳感器大致可以分為兩種，一種是使用激光雷達(dá)的SLAM技術(shù)，另一種是使用相機(jī)的視覺SLAM技術(shù)。其中，視覺SLAM技術(shù)通常又分為特征點(diǎn)法和直接法兩種。傳統(tǒng)的SLAM技術(shù)無論以激光雷達(dá)信息還是視覺圖像信息作為系統(tǒng)輸入，最終構(gòu)建出的三維地圖都只包含周圍環(huán)境的幾何信息，缺少語義信息。這給智能機(jī)器人根據(jù)任務(wù)自主進(jìn)行推理，以及進(jìn)一步實(shí)現(xiàn)復(fù)雜的人機(jī)交互帶來了困難。

帶有語義的SLAM(簡稱語義SLAM)技術(shù)主要涉及傳統(tǒng)的SLAM技術(shù)和語義分割技術(shù)。當(dāng)前，關(guān)于語義SLAM的研究主要聚焦于應(yīng)用于室內(nèi)場景的基于激光雷達(dá)的SLAM。盡管激光雷達(dá)適合室外場景，但是相比于相機(jī)，其成本更加昂貴，并且獲取的信息遠(yuǎn)少于視覺包含的信息。而基于視覺的語義SLAM主要是通過RGBD相機(jī)實(shí)現(xiàn)，即使融入了圖像的語義分割結(jié)果，但是一方面系統(tǒng)仍然依賴于像素級的數(shù)據(jù)，易受光照等條件的影響，另一方面，該語義與人類的語言有很大區(qū)別，不適于基于語言的人機(jī)交互系統(tǒng)。因此，在現(xiàn)有的SLAM系統(tǒng)中，融入更高層次的、適于人機(jī)交互的語義信息，實(shí)時(shí)構(gòu)建出包含高層語義信息的三維地圖至關(guān)重要。

在背景技術(shù)部分中公開的上述信息僅僅用于增強(qiáng)對本發(fā)明背景的理解，因此可能包含不構(gòu)成在本國中本領(lǐng)域普通技術(shù)人員公知的現(xiàn)有技術(shù)的信息。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)中存在的問題，本發(fā)明提出一種基于視覺融合地標(biāo)的拓?fù)涞貓D生成方法，能夠在嵌入式機(jī)載或車載平臺上運(yùn)行的基于視覺的融合地標(biāo)的拓?fù)涞貓D構(gòu)建，解決現(xiàn)有機(jī)器人領(lǐng)域構(gòu)建的三維地圖中不包含語義信息的問題，同時(shí)解決視覺SLAM系統(tǒng)中融合的像素級的語義信息易受光照等條件影響，且無法實(shí)現(xiàn)基于語言的人機(jī)交互的問題。并且使建圖脫離后端服務(wù)器，使得拓?fù)涞貓D能夠在自主智能機(jī)器人上建立、存儲(chǔ)并在自主智能機(jī)器人之間傳輸。

本發(fā)明的目的是通過以下技術(shù)方案予以實(shí)現(xiàn)，一種基于視覺融合地標(biāo)的拓?fù)涞貓D生成方法包括以下步驟：

第一步驟中，輸入RGB圖像，基于卷積神經(jīng)網(wǎng)絡(luò)對所述RGB圖像進(jìn)行語義分割，并根據(jù)語義分割中間層的特征圖提取出大于預(yù)定值的輸出值的點(diǎn)作為特征點(diǎn)；

第二步驟中，獲取場景的深度圖，基于所述深度圖的深度信息和所述特征點(diǎn)在圖像上的坐標(biāo)信息，依據(jù)相機(jī)模型獲取所述特征點(diǎn)的三維坐標(biāo)和機(jī)器人的位姿信息以建立場景的三維地圖，其中，三維地圖以點(diǎn)云的形式存儲(chǔ)，每個(gè)點(diǎn)云根據(jù)語義分割的結(jié)果進(jìn)行了篩選與標(biāo)注；

第三步驟中，對輸入圖像進(jìn)行基于深度學(xué)習(xí)的紋理分割，獲取每個(gè)像素點(diǎn)在紋理特征空間下的編碼；