[發明專利]基于先驗激光點云與深度圖融合的語義建圖與定位方法

有效

• 申請號: 202011213908.2
• 申請日: 2020-11-04
• 公開（公告）號: CN112258618B
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 李京;龔建華
• 申請（專利權）人: 中國科學院空天信息創新研究院
• 主分類號: G06T15/04
• 分類號: G06T15/04;G06T7/80;G06T7/12;G06T7/13
• 代理公司: 北京盛詢知識產權代理有限公司 11901
• 代理人: 陳巍

本發明公開基于先驗激光點云與深度圖融合的語義建圖與定位方法，包括：S1、采集先驗激光點云數據；S2、獲取深度圖像和RGB圖像，并基于深度圖像生成RGB?D點云，對先驗激光點云與RGB?D點云初始化配準；S3、通過配準后的先驗激光點云提供相機位姿約束進行相機位姿校正；S4、采用前后窗口優化方法構建三維幾何點云地圖；S5、對三維幾何點云地圖進行幾何增量分割，并對RGB圖像進行對象識別和語義分割，融合幾何增量分割、語義分割結果，得到語義增強幾何分割的3D幾何分割地圖；S6、將對象進行語義關聯及分割概率分配更新，完成語義地圖的構建。本發明能夠有效消除大規模室內建圖與定位的累計誤差，精度及實時性高。

技術領域

本發明涉及定位與地圖構建技術領域，特別是涉及基于先驗激光點云與深度圖融合的語義建圖與定位方法。

背景技術

目前，阻礙室內與戶外大場景增強現實虛實融合、無人駕駛與機器人導航定位等應用的最主要技術難點是動態跟蹤記錄真實場景的相機位置和姿態以及三維語義地圖構建。語義地圖是指將傳統三維點云地圖賦予相對應的屬性值(例如：地面，墻壁或建筑物)，由于全球衛星定位系統在很多應用場景(例如：戶外高精度增強現實與無人駕駛)還無法達到對精度和魯棒性的要求，慣性姿態傳感器誤差隨時間漂移逐漸增大，利用計算機視覺與三維激光雷達點云的實時三維制圖與相機位置姿態計算還在不斷地發展完善之中。傳統的方法包括從圖像上對在戶外預先放置的標志物進行識別，基于自然特征點的匹配，和基于已知環境三維模型的算法。最近幾年由于移動計算、計算機視覺、增強現實AR，室內GIS和同時定位、地圖構建SLAM技術的飛速發展，相機定位目前是一個非常活躍的研究領域。移動終端和無人飛行器UAV的使用不斷增加，推動了該技術的發展，以適應AR，機器人技術，室內導航定位和自動駕駛等領域的實際應用需求。在這些新興應用中，相機定位與語義地圖構建通常是一項關鍵且可行的技術。諸如便攜式激光雷達測距LiDAR和RGB-D相機等最新傳感器通過深度信息補充了RGB圖像，這為開發堅固實用的應用提供了新的機會，但僅RGB相機還遠遠不夠。

相機定位是在線SLAM(Simultaneous Localization And Mapping，同步定位和構圖)和離線SFM(Structure From Motion，運動結構)的關鍵一步。SLAM遞增估計移動平臺的位姿并同時構建周圍環境地圖，由于其自主定位和環境感知的能力，SLAM已成為機器人等無人系統在未知環境中自主運行的關鍵先決條件。視覺SLAM是一種使用相機作為數據輸入傳感器的算法，廣泛用于室內環境移動平臺。與激光雷達等測距儀相比，視覺傳感器具有功耗低，體積小的優點，可為移動平臺提供更豐富的環境紋理信息。因此，視覺SLAM在研究界引起了越來越多的關注，例如，許多研究人員試圖提高視覺SLAM方法的效率和穩健性。在提高效率方面，提出了一些特征提取算法，如SURF特征，BRISK，ORB特征。此外，一些算法引入了并行計算以提高效率，例如用于小場景增強現實AR工作空間的并行跟蹤和建圖。這是第一個將定位和建圖功能分離為兩個線程的SLAM算法，實現了實時性能。最近在實時視覺SLAM算法中值得關注的開發稱為ORB-SLAM3，它結合了近年來的最新技術，并使用實時ORB功能大型室內和室外環境中的跟蹤，構圖，定位和環路閉合。此外，隨著新傳感器，新應用和以深度學習為代表的新計算方法的快速發展，同時定位與地圖構建(SLAM)算法逐漸突破了基于濾波器，小場景和逐像素匹配等傳統計算方法的局限，向更加智能化的方向發展。目前，同時定位與語義地圖構建Semantic SLAM不但能獲得場景的幾何結構信息，同時能夠識別場景中的獨立個體對象，獲取對象的位置、姿態和功能屬性等語義信息，為完成復雜場景中的智能服務任務提供支撐。語義SLAM作為當前計算機視覺領域的研究前沿和熱點，為增強現實、場景理解、機器人、導航定位、人機交互和自動駕駛等熱點應用提供底層算法支持，因此高精度，高魯棒性和高實時性的同時定位與語義地圖構建技術具有十分重要的科學意義和應用價值語義。隨著最近二維圖像語義分割和對象檢測算法的發展，許多方法有效地將這些算法與最先進的SLAM方法相結合，以獲得高度精確的語義分割三維地圖。目前的主流方法中一方面需要先驗已知3D模型，由于語義類(如椅子)的各個實例即使在單個環境中也會發生顯著的變化，并且對于所有這些變化都需要精確的3D模型，這在實際實現方面受到了限制，另一方面使用分層條件隨機場等概率模型為每個3D點分配一個語義標簽，需要耗費過多的計算資源和內存空間，以上這些方法仍然對語義SLAM算法的實時性做出了妥協。