[發(fā)明專利]一種語義柵格地圖生成方法及其裝置

有效

• 申請?zhí)枺?/td>: 201810664562.4
• 申請日: 2018-06-25
• 公開（公告）號(hào): CN108920584B
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計(jì)）人: 陳明建
• 申請（專利權(quán)）人: 廣州視源電子科技股份有限公司
• 主分類號(hào): G06F16/29
• 分類號(hào): G06F16/29;G06K9/62;G06K9/72;G01C21/32
• 代理公司: 北京知元同創(chuàng)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11535
• 代理人: 張祖萍;張?zhí)镉?/td>

1.一種語義柵格地圖生成方法，其特征在于，該方法包括以下步驟：

通過視覺傳感器獲取環(huán)境的圖像數(shù)據(jù)，通過激光雷達(dá)傳感器獲取環(huán)境的2D掃描數(shù)據(jù)；

將獲取的圖像數(shù)據(jù)和2D掃描數(shù)據(jù)進(jìn)行融合，生成語義掃描數(shù)據(jù)；

將生成的語義掃描數(shù)據(jù)與環(huán)境的格柵地圖進(jìn)行融合，生成語義格柵地圖；

所述將獲取的圖像數(shù)據(jù)和2D掃描數(shù)據(jù)進(jìn)行融合，生成語義掃描數(shù)據(jù)的步驟包括：

對激光雷達(dá)傳感器獲取的2D掃描數(shù)據(jù)進(jìn)行粒子群聚類；

對視覺傳感器獲取的圖像數(shù)據(jù)進(jìn)行物體檢測，為圖像數(shù)據(jù)中的物體加上語義標(biāo)簽；

將獲取的圖像數(shù)據(jù)和2D掃描數(shù)據(jù)對齊，建立圖像數(shù)據(jù)和2D掃描數(shù)據(jù)的對應(yīng)關(guān)系；

根據(jù)所述圖像數(shù)據(jù)和2D掃描數(shù)據(jù)的對應(yīng)關(guān)系，將所述圖像數(shù)據(jù)的物體檢測結(jié)果與聚類后的2D掃描數(shù)據(jù)進(jìn)行融合，生成語義掃描數(shù)據(jù)；

在所述對視覺傳感器獲取的圖像數(shù)據(jù)進(jìn)行物體檢測，為圖像數(shù)據(jù)中的物體加上語義標(biāo)簽的步驟中，對視覺傳感器獲取的圖像數(shù)據(jù)進(jìn)行物體檢測，為圖像數(shù)據(jù)中的物體加上語義標(biāo)簽，包括：檢測視覺傳感器獲取的圖像數(shù)據(jù)，給出檢測出的物體的所有可能的語義標(biāo)簽，以及每一個(gè)可能的語義標(biāo)簽的概率；

在所述將獲取的圖像數(shù)據(jù)和2D掃描數(shù)據(jù)對齊，建立圖像數(shù)據(jù)和2D掃描數(shù)據(jù)的對應(yīng)關(guān)系的步驟中，根據(jù)所述圖像數(shù)據(jù)和2D掃描數(shù)據(jù)的對應(yīng)關(guān)系，將所述所有可能的語義標(biāo)簽及相應(yīng)的概率投影到2D掃描數(shù)據(jù)中進(jìn)行融合，生成帶有物體概率標(biāo)簽的語義掃描數(shù)據(jù)；

所述將生成的語義掃描數(shù)據(jù)與環(huán)境的格柵地圖進(jìn)行融合，生成語義格柵地圖的步驟包括：

對所述帶有物體概率標(biāo)簽的語義掃描數(shù)據(jù)進(jìn)行預(yù)處理，從所述語義掃描數(shù)據(jù)中提取原始2D掃描數(shù)據(jù)和基于視覺傳感器視角的語義掃描數(shù)據(jù)，所述基于視覺傳感器視角的語義掃描數(shù)據(jù)保留物體概率標(biāo)簽；

對提取的原始2D掃描數(shù)據(jù)進(jìn)行處理，獲取移動(dòng)機(jī)器人的移動(dòng)軌跡以及定位信息；

根據(jù)所述移動(dòng)軌跡以及定位信息，將所述提取的基于視覺傳感器視角的語義掃描數(shù)據(jù)與格柵地圖進(jìn)行融合，生成語義格柵地圖。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對視覺傳感器獲取的圖像數(shù)據(jù)進(jìn)行物體檢測，為圖像數(shù)據(jù)中的物體加上語義標(biāo)簽，包括：對2D掃描數(shù)據(jù)的粒子群聚類通過物理位置信息，將相近的同一簇點(diǎn)云標(biāo)記為一類。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述對視覺傳感器獲取的圖像數(shù)據(jù)進(jìn)行物體檢測，為圖像數(shù)據(jù)中的物體加上語義標(biāo)簽的步驟中，對圖像數(shù)據(jù)的物體檢測方法使用基于深度學(xué)習(xí)的檢測和分類方法，為圖像數(shù)據(jù)中的物體加上語義標(biāo)簽。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述將獲取的圖像數(shù)據(jù)和2D掃描數(shù)據(jù)對齊，建立圖像數(shù)據(jù)和2D掃描數(shù)據(jù)的對應(yīng)關(guān)系的步驟中，所述將獲取的圖像數(shù)據(jù)和2D掃描數(shù)據(jù)對齊，是根據(jù)事先測定好的激光雷達(dá)傳感器和視覺傳感器的安裝位置的相對關(guān)系，進(jìn)行圖像數(shù)據(jù)和2D掃描數(shù)據(jù)的對齊。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述提取的基于視覺傳感器視角的語義掃描數(shù)據(jù)存儲(chǔ)在移動(dòng)機(jī)器人移動(dòng)的軌跡節(jié)點(diǎn)上，當(dāng)生成語義柵格地圖時(shí)，將移動(dòng)軌跡上在所有軌跡節(jié)點(diǎn)存儲(chǔ)的基于視覺傳感器視角的語義掃描數(shù)據(jù)與格柵地圖進(jìn)行融合。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對提取的原始2D掃描數(shù)據(jù)進(jìn)行處理，獲取移動(dòng)機(jī)器人的移動(dòng)軌跡以及定位信息，包括：利用基于激光雷達(dá)傳感器的并發(fā)定位和建圖算法，對提取的原始2D掃描數(shù)據(jù)進(jìn)行處理，獲取移動(dòng)機(jī)器人的移動(dòng)軌跡以及定位信息。

7.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述將移動(dòng)軌跡上在所有軌跡節(jié)點(diǎn)存儲(chǔ)的基于視覺傳感器視角的語義掃描數(shù)據(jù)與格柵地圖進(jìn)行融合，包括：計(jì)算地圖格柵中的每個(gè)格柵對應(yīng)的最大概率的語義標(biāo)簽，將每個(gè)格柵對應(yīng)的最大概率的語義標(biāo)簽與格柵地圖中的相應(yīng)格柵進(jìn)行融合，生成所述語義格柵地圖。