[發明專利]基于先驗激光點云與深度圖融合的語義建圖與定位方法

有效

• 申請號: 202011213908.2
• 申請日: 2020-11-04
• 公開（公告）號: CN112258618B
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 李京;龔建華
• 申請（專利權）人: 中國科學院空天信息創新研究院
• 主分類號: G06T15/04
• 分類號: G06T15/04;G06T7/80;G06T7/12;G06T7/13
• 代理公司: 北京盛詢知識產權代理有限公司 11901
• 代理人: 陳巍

1.基于先驗激光點云與深度圖融合的語義建圖與定位方法，其特征在于，包括如下步驟：

S1、采集場景的整體先驗激光點云數據，并對所采集的數據進行預處理；

S2、通過固定在移動平臺上的相機實時獲取場景的深度圖像和RGB圖像，并基于所述深度圖像生成RGB-D點云，采用深度學習定位神經網絡及最近鄰居ICP迭代算法對預處理后的先驗激光點云數據與所述RGB-D點云進行初始化配準；

S3、通過配準后的先驗激光點云數據提供相機位姿約束，對相機位姿進行校正，完成相機定位；所述步驟S3具體包括如下步驟：

S3.1、從相機實時獲取的深度圖像中選擇待校正的關鍵幀，并通過動態對象剔除和深度圖像數據去噪，生成RGB-D點云數據；

S3.2、根據視覺跟蹤線程產生的相機初始姿態，獲取局部先驗激光點云數據；

S3.3、基于所述局部先驗激光點云數據，采用點到面的ICP迭代算法獲取待校正的關鍵幀的相機位姿，并將待校正的關鍵幀的相機位姿通過關鍵幀可視性圖傳遞到局部地圖；

S4、基于先驗激光點云數據提供的相機位姿約束，采用多線程地圖分段前后窗口優化方法構建三維幾何點云地圖；所述步驟S4包括：

S4.1、獲取深度圖像的關鍵幀和3-D ORB特征點，構建稀疏地圖；

S4.2、采用先驗激光點云數據提供的相機位姿約束，對所構建的稀疏地圖進行局部優化；

S4.3、采用多線程地圖分段優化方法對局部優化后的地圖進行全局優化；

S4.4、采用雙窗口優化方法對全局優化后的地圖進行進一步優化，得到三維幾何點云地圖；

S5、對所述三維幾何點云地圖進行幾何增量分割，并采用基于卷積網絡的對象檢測器對每幀RGB圖像進行對象識別和語義分割，對幾何增量分割結果、語義分割結果進行融合，獲取對象邊界，得到場景語義增強幾何分割的3D幾何分割地圖；

S6、通過步驟S3中相機位姿的校正結果對所述語義增強幾何分割的3D幾何分割地圖進行更新，基于更新結果對場景中的對象進行語義關聯及分割概率的分配更新，完成語義地圖的構建。

2.根據權利要求1所述的基于先驗激光點云與深度圖融合的語義建圖與定位方法，其特征在于，所述步驟S2中，對預處理后的先驗激光點云數據與所述RGB-D點云進行初始化配準的方法包括：

首先，構建深度學習網絡，將預處理后的先驗激光點云數據與所述RGB-D點云對齊，獲得以相機位姿標記的連續視頻幀，通過連續的視頻幀圖像及所述相機位姿訓練所述深度學習定位神經網絡；

其次，將相機采集的RGB圖像視頻幀輸入訓練好的深度學習定位神經網絡獲得初始相機位姿；

再次，采用ICP迭代算法，對所述初始相機位姿進行更新，完成先驗激光點云數據與所述RGB-D點云的初始化配準。

3.根據權利要求1所述的基于先驗激光點云與深度圖融合的語義建圖與定位方法，其特征在于，所述步驟S3.1中，基于相機的深度信息和跟蹤線程的位姿生成RGB-D點云數據。

4.根據權利要求1所述的基于先驗激光點云與深度圖融合的語義建圖與定位方法，其特征在于，所述步驟S4.4中，雙窗口優化方法包括前部窗口、后部窗口；所述前部窗口約束為位姿-地圖點約束，所述前部窗口用于控制局部地圖的構建；所述后部窗口約束為后部窗口與前部窗口關鍵幀之間的位姿-位姿約束，以及后部窗口與前部窗口地圖點之間的位姿-地圖點約束；所述后部窗口用于控制地圖的全局一致性。

5.根據權利要求4所述的基于先驗激光點云與深度圖融合的語義建圖與定位方法，其特征在于，所述前部窗口包括地圖段中的若干個關鍵幀、前后地圖段重疊的若干關鍵幀、所述關鍵幀觀察到的地圖點集；所述后部窗口包括所述前部窗口中已優化的關鍵幀集。