[發(fā)明專利]一種面向道路場景的三維語義地圖構(gòu)建和存儲方法

有效

• 申請?zhí)枺?/td>: 201810704481.2
• 申請日: 2018-07-02
• 公開（公告）號: CN109117718B
• 公開（公告）日: 2021-11-26
• 發(fā)明（設(shè)計）人: 李煊鵬;敖煥軒;李宇杰;薛啟凡
• 申請（專利權(quán)）人: 東南大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T7/55
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 柏尚春

本發(fā)明公開了一種面向道路場景的三維語義地圖構(gòu)建和存儲方法，步驟如下：傳感器在移動過程中采集路況視頻數(shù)據(jù)，使用同步定位和構(gòu)圖技術(shù)獲取關(guān)鍵幀，計算位姿和逆深度圖，構(gòu)建半密集點云地圖；利用語義分割模型從所獲取的關(guān)鍵幀中提取語義標(biāo)記；利用二維到三維空間語義標(biāo)記轉(zhuǎn)換，將連續(xù)關(guān)鍵幀的語義標(biāo)記數(shù)據(jù)進行融合，修正三維點云語義標(biāo)記；根據(jù)所獲取的三維語義點云地圖，將三維語義點云數(shù)據(jù)表征為基于占據(jù)概率和語義信息的三維地圖。本發(fā)明利用攝像機進行三維語義構(gòu)圖，包括多種道路目標(biāo)場景分布；利用車載系統(tǒng)快速構(gòu)建道路三維語義信息，滿足實時存儲的需求；利用地圖壓縮技術(shù)，與原有大體量的三維地圖存儲需求相比，只占用較小存儲空間。

技術(shù)領(lǐng)域

本發(fā)明涉及道路信息采集和三維建模方法在車輛技術(shù)領(lǐng)域的應(yīng)用，具體涉及一種面向道路場景的快速三維語義構(gòu)圖方法和高效存儲方法。

背景技術(shù)

隨著信息傳感、計算機視覺技術(shù)的發(fā)展，通過采集道路場景數(shù)據(jù)進行地圖構(gòu)建，并用以輔助駕駛和無人駕駛等應(yīng)用已成為日漸重要的研究和開發(fā)需求。

由于攝像機的造價相對較低且安裝方便，以攝像機為核心傳感器的車載系統(tǒng)有著廣泛的應(yīng)用。但是在道路三維地圖構(gòu)建方面，如何利用攝像機進行地圖構(gòu)建依然相對較少，并且由于構(gòu)建三維地圖往往需要大量計算以及存儲空間，對于一般的車載系統(tǒng)來說負(fù)荷過大。另一方面，區(qū)別于激光傳感器獲得的點云數(shù)據(jù)，攝像機數(shù)據(jù)能夠捕捉到更豐富的紋理信息，實現(xiàn)對道路場景的理解，包括可行使路面區(qū)域的分割，道路關(guān)鍵標(biāo)志的識別，樓房樹木等靜態(tài)目標(biāo)的識別等，為構(gòu)建更為豐富表征的三維語義地圖提供了可能。

發(fā)明內(nèi)容

發(fā)明目的：為了解決現(xiàn)有技術(shù)中存在的問題，本發(fā)明的目的是提供一種利用車載攝像機構(gòu)建三維語義地圖，以實現(xiàn)為輔助駕駛和無人駕駛系統(tǒng)提供參考地圖信息的面向道路場景的快速三維語義地圖構(gòu)建和高效存儲方法。

技術(shù)方案：一種面向道路場景的快速三維語義地圖構(gòu)建和高效存儲方法，包括以下步驟：

(1)使用傳感器在移動過程中采集路況視頻數(shù)據(jù)，使用同步定位和構(gòu)圖技術(shù)獲取關(guān)鍵幀，計算位姿和逆深度圖，構(gòu)建半密集點云地圖；利用語義分割模型從所獲取的關(guān)鍵幀中提取語義標(biāo)記；

(2)根據(jù)位姿信息、半密集點云地圖數(shù)據(jù)和二維圖像語義數(shù)據(jù)，利用二維到三維空間語義標(biāo)記轉(zhuǎn)換，并采用增量式標(biāo)記融合技術(shù)將連續(xù)關(guān)鍵幀的語義標(biāo)記數(shù)據(jù)進行融合，修正三維點云語義標(biāo)記；

(3)根據(jù)所獲取的三維語義點云地圖，將三維語義點云數(shù)據(jù)表征為基于占據(jù)概率和語義信息的三維地圖，可實現(xiàn)地圖數(shù)據(jù)壓縮，滿足高效存儲需求。

優(yōu)選的，所述步驟(1)中，傳感器為單目攝像頭和/或雙目攝像頭；其次，實現(xiàn)語義分割的模型為基于可分離卷積核和特征金字塔組合的深度卷積神經(jīng)網(wǎng)絡(luò)，能夠針對不低于1920x1080分辨率圖片實現(xiàn)速度在80ms以內(nèi)的語義分割功能實現(xiàn)。

進一步的，步驟(1)中，語義標(biāo)記為靜態(tài)目標(biāo)標(biāo)識，包含道路路面標(biāo)記、建筑物標(biāo)記、停放機動車輛標(biāo)記、輔道標(biāo)記、道路標(biāo)識牌標(biāo)記、路燈標(biāo)記和樹木植被標(biāo)記。

關(guān)鍵幀定義為K_i＝{I_i,D_i,V_i,S_i}，包含圖像信息逆深度圖逆深度圖方差以及語義分割信息其中，圖像幀的所有像素點子集表示實數(shù)集。

優(yōu)選的，所述步驟(2)中，采用基于貝葉斯概率的增量式方法實現(xiàn)二維到三維語義數(shù)據(jù)轉(zhuǎn)換，計算方法如下：

其中，一個三維體素v_d的類別標(biāo)記為l_k，表示為到t時刻所有捕捉到的關(guān)鍵幀集合，且結(jié)合連續(xù)關(guān)鍵幀的語義標(biāo)記數(shù)據(jù)進行三維點云語義標(biāo)記快速更新，提升語義標(biāo)注的準(zhǔn)確性。