[發明專利]一種三維語義地圖構建方法

在審

• 申請號: 202110394816.7
• 申請日: 2021-04-13
• 公開（公告）號: CN113313824A
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 劉立林;羅志宇
• 申請（專利權）人: 中山大學
• 主分類號: G06T17/05
• 分類號: G06T17/05;G06T7/33;G06T7/10;G06T7/80
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 陳偉斌

本發明屬于地圖構建技術領域，更具體地，涉及一種三維語義地圖構建方法,包括可基于GPU并行處理的配準圖像線程、局部地圖與全局地圖線程、語義地圖線程、融合線程、全局線程；同時對場景圖像進行位姿求解、語義分割、圖像融合及匹配等計算處理，使得SLAM系統實時性更強、地圖構建速度更快，同時，在三維圖像上融合語義信息，豐富地圖的表現形式，以使無人機、機器人等無人移動平臺設備可通過更多的維度理解場景地圖，進而更加精準地控制運動軌跡，提高無人移動平臺的性能。

技術領域

本發明屬于地圖構建技術領域，更具體地，涉及一種三維語義地圖構建方法。

背景技術

SLAM(Simultaneouslocalizationand mapping，同步定位與即時構圖)是通過傳感器獲取場景三維信息的一種技術，其能根據場景信息對自身進行定位以及環境區分。SLAM包括激光SLAM和視覺SLAM，激光SLAM中獲取場景數據的傳感器為激光雷達，一般用于航天及汽車工業，其精度高但成本也很高，視覺SLAM中通過相機獲取場景圖像數據，其成本較低，一般用于無人機、機器人自主導航領域。

在無人機、機器人領域，傳統的地圖不能滿足其多樣化的應用需求，隨著深度傳感器的發展，目前在無人機、機器人自主導航領域還廣泛應用語義地圖。語義地圖通常包括空間屬性信息，例如建筑物的平面結構，房間分布等，以及包括語義屬性信息，如各個房間屬性和功能，以及房間內的物體類別和位置信息等。語義地圖構建的目標是精確地在地圖上標記語義信息。

如中國專利CN111080659A公開了一種基于視覺信息的環境語義感知方法，包括：利用Kinect V1.0相機采集環境圖像信息，得到配準后的彩色圖及深度圖；基于配準后的彩色圖及深度圖，通過ORB_SLAM2過程，根據每幀中提取的ORB特征點解算相機三維位姿，得到相機位姿信息；對每幀圖像進行語義分割，生成語義顏色信息；同步根據輸入的深度圖和相機的內參矩陣生成點云；將語義顏色信息注冊到點云中，得到局部語義點云結果；利用相機位姿信息與局部語義點云結果進行融合，得到新的全局語義點云信息；將融合后的全局語義點云信息用八叉樹地圖進行表示，得到最終的三維八叉樹語義地圖。但是在實施過程中發現，因其采用ORB特征提取，地圖構建的速度不夠快，會嚴重影響無人機或機器人的反應速度及運動軌跡的控制精度，使用體驗不好。

發明內容

本發明為克服上述現有技術中的至少一個缺陷，提供一種三維語義地圖構建方法，其基于GPU多線程處理，能夠提高地圖構建速度，實現實時地圖構建。

為解決上述技術問題，本發明采用的技術方案是：

提供一種三維語義地圖構建方法，包括：

可基于GPU(圖形處理器)并行處理的配準圖像線程、局部地圖與全局地圖線程、語義地圖線程、融合線程、全局線程；

配準圖像線程用于獲取場景的彩色圖像及深度圖像，并對所述彩色圖像及深度圖像進行預處理，得到配準圖像；

局部地圖與全局地圖線程用于根據配準圖像與深度圖像求解多幀圖像之間的位姿，利用位姿、彩色圖像、深度圖像進行三維重建得到局部地圖與全局地圖；語義地圖線程用于利用PSP Net(Pyramid Scene Parsing Network，金字塔場景解析網絡)對多個配準圖像進行語義分割，得到二維語義圖像；

融合線程用于將二維語義圖像分別與局部地圖、全局地圖融合，得到局部語義地圖、全局語義地圖；

全局線程用于對局部語義地圖、全局語義地圖進行匹配，得到全局一致性稠密語義地圖。

本方案中通過基于GPU的多線程，同時對場景圖像進行位姿求解、語義分割、圖像融合及匹配等計算處理，使得SLAM系統實時性更強、地圖構建速度更快，同時，在三維圖像上融合語義信息，豐富地圖的表現形式，以使無人機、機器人等無人移動平臺設備可通過更多的維度理解場景地圖，進而更加精準地控制運動軌跡，提高無人移動平臺的性能。