[發明專利]圖像與激光數據融合的機器人導航三維語義地圖生成方法

在審

• 申請號: 202110209825.4
• 申請日: 2021-02-25
• 公開（公告）號: CN113009501A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 婁路;張忍;張旗;李博一;李一天
• 申請（專利權）人: 重慶交通大學
• 主分類號: G01S17/86
• 分類號: G01S17/86;G01S17/89;G06T7/521;G06T19/00
• 代理公司: 重慶市信立達專利代理事務所(普通合伙) 50230
• 代理人: 陳炳萍

本發明公開了圖像與激光數據融合的機器人導航三維語義地圖生成方法，包括以下步驟：S1：獲取圖像數據序列和激光雷達數據序列；S2：讀取圖像序列中的一幀RGB圖像，讀取同一時刻激光幀數據；S3：通過雙邊濾波后進行上采樣處理，將激光數據與RGB圖像深度補全得到深度圖；S4：對RGB圖像信息進行ORB特征點提取；S5：將S4提取的特征點與S3得到的深度圖結合，根據深度值z的有效范圍判斷是否存在好的特征點，若有，執行S6；若沒有，繼續讀取下一幀RGB圖像并重復S2至S5步驟。本發明的圖像與激光數據融合的機器人導航三維語義地圖生成方法能夠提高機器人定位精度和三維點云重建質量；能夠為機器人的定位及導航提供高質量三維地圖。

技術領域

本發明涉及計算機視覺和機器人智能駕駛技術領域，更具體地說，它涉及一種圖像與激光數據融合的機器人導航三維語義地圖生成方法。

背景技術

移動機器人在未知復雜的環境中自主定位和地圖構建(SLAM)技術是完成環境感知、路徑規劃、人機交互等復雜任務的基礎。移動機器人SLAM技術主要應用在無人駕駛車、無人機、搬運機器人、送餐機器人、導覽機器人、掃地機器人等領域。由于在實際應用的室內和戶外環境中，移動機器人容易遇到動態物體干擾、復雜等等運行環境問題，所以需要對動態環境下移動機器人定位和建圖進行研究。

目前大多數視覺SLAM方案中所采用的圖像特征的語義級別太低，可區別性弱，構建的點云地圖不能區分不同的物體。這樣的點云地圖包含信息量少，再利用性非常有限。傳統的點云地圖中，移動機器人不能識別出一塊塊的點云是什么物體，但語義地圖能夠很好的表示出移動機器人所在的場景，能夠識別出街道中的交通標志、車行道、人行道等。語義地圖的構建對移動機器人的環境理解和后續的路徑規劃有著重要作用。

發明內容

為解決上述技術問題，本發明提供一種圖像與激光數據融合的機器人導航三維語義地圖生成方法，采用視覺與激光融合的方法對環境進行三維重建，然后基于Mask R-CNN來對二維場景圖像進行語義識別，采用識別的語義信息和視覺與激光恢復的深度圖對場景進行三維語義重建。三維語義地圖能夠很好的表示出移動機器人所在的場景，識別出街道中的交通標志，車行道、人行道等，對移動機器人的環境理解和后續的路徑規劃有著重要作用，并能有效解決復雜動態環境對SLAM技術的困擾。

本發明的上述技術目的是通過以下技術方案得以實現的：

圖像與激光數據融合的機器人導航三維語義地圖生成方法，包括以下步驟：

S1：獲取圖像數據序列和激光雷達數據序列；

S2：讀取圖像序列中的一幀RGB圖像，讀取同一時刻激光幀數據；S3：通過雙邊濾波后進行上采樣處理，將激光數據與RGB圖像深度補全得到深度圖(Depth Image)；

S4：對RGB圖像信息進行ORB(Oriented Brief)特征點提取；

S5：將S4提取的特征點與S3得到的深度圖結合，根據深度值z的有效范圍判斷是否存在好的特征點，若有，執行S6；若沒有，繼續讀取下一幀RGB圖像并重復S2至S5步驟；

S6：判定S5有對應深度值的當前幀圖像是否為關鍵幀，若是，則恢復關鍵幀深度圖，并執行S7；若不是，則計算當前幀的位姿，并重復S2至S6步驟；

S7：將關鍵幀的位姿和深度圖對應，恢復當前關鍵幀的三維點云；S8：對S7獲取的三維點云進行濾波過濾噪聲點的操作；

S9：判定是否存在下一幀RGB圖像，若存在，重復S2至S9步驟；若不存在，執行S10；

S10：將當前點云與歷史點云疊加，并對最終得到的點云進行濾波操作減少點云數量；

S11：生成當前時刻的三維點云；