[發(fā)明專利]基于視覺融合地標(biāo)的拓?fù)涞貓D生成方法

有效

• 申請?zhí)枺?/td>: 202010045875.9
• 申請日: 2020-01-15
• 公開（公告）號: CN111210518B
• 公開（公告）日: 2022-04-05
• 發(fā)明（設(shè)計）人: 任鵬舉;李創(chuàng);丁焱;趙子瑞;毛藝鈞;鄭南寧
• 申請（專利權(quán)）人: 西安交通大學(xué)
• 主分類號: G06T17/05
• 分類號: G06T17/05;G06T19/20;G06T7/10;G06T7/41;G06K9/62;G06V10/764;G06V10/80
• 代理公司: 北京中濟(jì)緯天專利代理有限公司 11429
• 代理人: 覃婧嬋

1.一種基于視覺融合地標(biāo)的拓?fù)涞貓D生成方法，所述方法包括以下步驟：

第一步驟(S1)中，輸入RGB圖像，基于卷積神經(jīng)網(wǎng)絡(luò)對所述RGB圖像進(jìn)行語義分割，并根據(jù)語義分割中間層的特征圖提取出大于預(yù)定值的輸出值的點(diǎn)作為特征點(diǎn)；

第二步驟(S2)中，獲取場景的深度圖，基于所述深度圖的深度信息和所述特征點(diǎn)在圖像上的坐標(biāo)信息，依據(jù)相機(jī)模型獲取所述特征點(diǎn)的三維坐標(biāo)和機(jī)器人的位姿信息以建立場景的三維地圖，其中，三維地圖以點(diǎn)云的形式存儲，每個點(diǎn)云根據(jù)語義分割的結(jié)果進(jìn)行了篩選與標(biāo)注；

第三步驟(S3)中，對輸入圖像進(jìn)行基于深度學(xué)習(xí)的紋理分割，獲取每個像素點(diǎn)在紋理特征空間下的編碼；

第四步驟(S4)中，根據(jù)電子地圖，獲取環(huán)境中的建筑物的GPS信息和機(jī)器人的初始GPS信息，根據(jù)機(jī)器人初始GPS信息和所述位姿信息計算得到機(jī)器人在不同位姿下的GPS信息和三維地圖中的點(diǎn)云的GPS信息；

第五步驟(S5)中，根據(jù)所述點(diǎn)云的GPS信息和所述建筑物的坐標(biāo)GPS信息及其編碼，采用基于模糊數(shù)學(xué)的地標(biāo)級數(shù)據(jù)融合方法，獲得點(diǎn)云相對于預(yù)定地標(biāo)的隸屬度分布函數(shù)，根據(jù)語義隸屬度分布函數(shù)和所述三維點(diǎn)云地圖，獲得融合了地標(biāo)的三維語義地圖，其中，采用基于模糊數(shù)學(xué)的方法進(jìn)行地標(biāo)和點(diǎn)云的融合，空間隸屬度的計算方法為：假設(shè)地標(biāo)的位置坐標(biāo)為(x_l，y_l)，點(diǎn)云的位置坐標(biāo)為(x，y)，所述點(diǎn)云隸屬于該地標(biāo)的空間隸屬度s(x，y)基于高斯分布來表示，如下式：s(x，y)＝G(x，y，x_l，y_l，σ)，其中，G(x，y，x_l，y_l，σ)表示二維高斯概率密度函數(shù)，σ為二維高斯分布標(biāo)準(zhǔn)差，紋理隸屬度的計算方法為：對距離地標(biāo)的位置坐標(biāo)為(x₁，y₁)最近的N個屬于建筑類別的點(diǎn)云對應(yīng)的紋理特征進(jìn)行加權(quán)平均，得到該地標(biāo)的紋理特征向量權(quán)重為點(diǎn)云隸屬于該地標(biāo)的空間隸屬度s(x，y)，依據(jù)每個點(diǎn)云對應(yīng)的紋理特征向量T_d(x，y)計算其與地標(biāo)的紋理特征向量之間的距離D，點(diǎn)云隸屬于地表的紋理隸屬度函數(shù)t(x，y)由一維高斯概率密度函數(shù)表示，其中，為一維高斯概率密度函數(shù)，σ_t為一維高斯分布的標(biāo)準(zhǔn)差，最終的隸屬度函數(shù)b(x，y)為空間隸屬度和紋理隸屬度的乘積，b(x，y)＝s(x，y)×t(x，y)；

第六步驟(S6)中，基于融合地標(biāo)的三維語義地圖構(gòu)建拓?fù)涞貓D生成融合地標(biāo)的語義拓?fù)涞貓D。

2.根據(jù)權(quán)利要求1所述的方法，其中，第二步驟(S2)中，通過深度預(yù)測神經(jīng)網(wǎng)絡(luò)獲得所述特征點(diǎn)的深度信息，將圖像中二維特征點(diǎn)從相機(jī)坐標(biāo)系轉(zhuǎn)換到三維點(diǎn)云坐標(biāo)系，獲得該特征點(diǎn)在三維空間中的對應(yīng)的點(diǎn)云。

3.根據(jù)權(quán)利要求2所述的方法，其中，坐標(biāo)系轉(zhuǎn)換過程為：

其中，(x_v，y_v，z_v)表示點(diǎn)云的坐標(biāo)值，T_{pointcloud2camera}表示從三維點(diǎn)云坐標(biāo)系到相機(jī)坐標(biāo)系的轉(zhuǎn)換過程，(u_c，v_c)表示該點(diǎn)云對應(yīng)的像素坐標(biāo)值，其中，u，v是圖像中像素點(diǎn)的橫縱坐標(biāo)，w為與深度相關(guān)的比例參數(shù)。

4.根據(jù)權(quán)利要求2所述的方法，其中，深度信息包括真實(shí)世界三維點(diǎn)距離相機(jī)光心的垂直距離。