[發明專利]一種激光與相機融合的地圖構建方法

在審

• 申請號: 202110911529.9
• 申請日: 2021-08-10
• 公開（公告）號: CN113724387A
• 公開（公告）日: 2021-11-30
• 發明（設計）人: 張文安;金錦峰;付明磊;楊旭升;史秀紡;季華;陳戧;王其超
• 申請（專利權）人: 浙江工業大學;杭州鴻泉物聯網技術股份有限公司
• 主分類號: G06T17/05
• 分類號: G06T17/05;G06T7/80;G06T7/10
• 代理公司: 杭州天正專利事務所有限公司 33201
• 代理人: 王兵

激光與相機融合的地圖構建方法，包括：獲取固定于車身上方激光雷達采集到的車身周圍環境的三維點云數據P和固定于車身前方相機采集到的車輛周圍環境的圖片數據I；根據激光點云數據P計算獲取位姿E；基于獲得的點云數據P進行濾波，獲取無遮擋、分布規則的點云數據P’；對攝像機捕獲的圖像I進行語義分割，去除原始圖像中的運動對象和動態特征點，得到具有語義信息的圖像I’；將點云P’和來自攝像機的語義分割結果I’進行融合，生成具有語義信息的單幀點云C；經過特征點的提取和匹配后，消除不匹配的特征點對，得到消除不匹配對的點云C’；根據小車姿態E將點云C’與現有地圖M進行疊加，獲得實時更新的地圖M’。

技術領域

本發明涉及計算機視覺和機器人智能駕駛技術領域，更具體地說，它涉及一種激光與相機融合的地圖構建方法。

技術背景

當進入未知環境時，定位和導航是機器人環境感知任務的主要挑戰。而這類問題的研究中，地圖精確建模是其中的重點之一。由于每一種傳感器都具有局限性，使用單一的傳感器不能獲得詳細的環境信息。所以，需要對多傳感器融合建圖進行研究。

在實際的機器人應用場景中，不可避免地會存在動態物體，大大影響建圖的精度。同時，為了讓機器人完成更復雜的任務，機器人對場景的理解能力受到了研究者的廣泛關注。語義地圖能夠很好的表示出機器人到的地方是什么，機器人“看”到的東西是什么，識別顯示出來的一塊塊的點云到底是什么。動態環境下的語義地圖構建對移動機器人的環境理解和后續的路徑規劃有著重要作用。

現有技術中關于地圖精確建模的方法大多圍繞單一傳感器和兩種傳感器融合，專利CN201911242680.7公開了一種三維激光建圖方法及系統、專利CN202110318776.8公開了一種基于場景辨識的多機器人分布式協作視覺建圖方法、專利CN201810869146.8公開了一種基于激光雷達與GPS的拓撲地圖創建方法及裝置、專利CN202110469215.8公開了一種基于超聲波雷達與激光雷達的建圖方法、裝置及系統等，這類方法存在以下兩個問題：1、受環境影響大：容易天氣以及動態物體影響2、特征點對不匹配，影響地圖匹配精度。

發明內容

為解決上述技術問題，本發明提供一種激光與相機融合的地圖構建方法，采用視覺與激光傳感器獲取環境信息，然后基于語義分割模型來對二維場景圖像進行語義識別，通過融合數據集的語義圖像和原始圖像，消除原始圖像中的運動對象和動態特征點的存在。進而融合識別的語義信息和三維點云，經過特征點的提取和匹配后，消除不匹配的特征點對進行地圖優化。三維語義地圖能夠很好的表示出移動機器人所在的場景，識別出場景中的建筑物，行人，車輛等，對移動機器人的環境理解和后續的路徑規劃有著重要作用，并能有效解決復雜動態環境對同時定位與建圖技術的困擾。

本發明的上述技術目的是通過以下技術方案得以實現的：

激光與相機融合的地圖構建方法，包括以下步驟：

步驟1：獲取固定于車身上方激光雷達采集到的車身周圍環境的三維點云數據P和固定于車身前方相機采集到的車輛周圍環境的圖片數據I；

步驟2：根據激光點云數據P計算獲取位姿E；

步驟3：同時，基于獲得的點云數據P進行濾波，獲取無遮擋、分布規則的點云數據P’；

步驟4：對攝像機捕獲的圖像I進行語義分割，去除原始圖像中的運動對象和動態特征點，得到具有語義信息的圖像I’；

步驟5：將點云P’和來自攝像機的語義分割結果I’進行融合，生成具有語義信息的單幀點云C；

步驟6：經過特征點的提取和匹配后，消除不匹配的特征點對，得到消除不匹配對的點云C’；

步驟7：根據小車姿態E將點云C’與現有地圖M進行疊加，獲得實時更新的地圖M’。

最終生成由激光雷達與相機融合的語義地圖，為后續無人車的定位導航避障提供了方便。