[發明專利]一種動態場景下基于語義分割的直接法視覺定位方法

有效

• 申請號: 202010098733.9
• 申請日: 2020-02-18
• 公開（公告）號: CN111340881B
• 公開（公告）日: 2023-05-19
• 發明（設計）人: 潘樹國;盛超;高旺;譚涌;趙濤;喻國榮
• 申請（專利權）人: 東南大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06V10/26;G06V10/82;G06N3/09
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 朱小兵

本發明公開了一種動態場景下基于語義分割的直接法視覺定位方法，屬于SLAM同步定位與建圖領域；本發明首先采用深度學習中的語義分割技術對圖像中的動態物體進行分割，獲得像素級別的動態物體語義信息；在此基礎上，從原始圖像中根據像素點梯度信息提取候選點并根據語義信息對動態區域的候選點進行剔除，僅保留靜態區域的候選點；然后基于保留的候選點采取融合圖像語義信息的金字塔模型估計相機位姿；最后基于滑動窗口優化并結合圖像語義信息對關鍵幀的位姿進行優化。實驗結果表明，在動態環境下，本發明公開的方法的定位精度較現有系統提升71％?86％。

技術領域

本發明涉及深度學習在視覺里程計(Visual?odometry)中的應用，屬于SLAM(Simultaneous?Localization?and?Mapping)同步定位與建圖領域。

背景技術

視覺SLAM(同時定位與建圖，帶有回環檢測)或V0(視覺里程計，不帶回環檢測)是機器人在未知環境下自主運行的關鍵技術。基于機器人外部傳感器檢測到的環境數據，SLAM構造了機器人的周圍環境圖，同時給出了機器人在環境圖中的位置。與雷達、聲納等測距儀器相比，視覺傳感器具有體積小、功耗低、信息采集豐富等特點，能夠在外部環境中提供豐富的紋理信息。因此，視覺SLAM已經成為當前研究的熱點，并應用于自主導航、VR/AR等領域。

傳統的視覺SLAM(帶有回環檢測)或者V0(不帶回環檢測)在恢復場景信息和相機運動時是基于靜態環境假設的。場景中的動態物體會影響定位精度。目前，傳統的基于點特征的視覺SLAM算法通過檢測動態點并將其標記為外點來處理簡單的動態場景問題。ORB-SLAM通過RANSAC、卡方檢驗、關鍵幀法和局部地圖減少了動態物體對定位精度的影響。2013年，有學者提出了一種新的關鍵幀表達和更新方法，用于對動態環境進行自適應建模，有效地檢測和處理動態環境中的外觀或結構變化。同年，有學者引入了多攝像機間姿態估計和建圖的方法用于處理動態場景。2018年有學者提出將深度學習中的語義分割技術與現有的SLAM或者V0系統結合，通過語義分割獲得場景中的動態物體先驗信息，在特征點提取過程中剔除動態物體特征，為后續定位提供穩健的靜態區域特征點。上述基于深度學習的方法都是特征點法，顯著提高了基于特征點的視覺SLAM系統在動態環境下的定位精度和魯棒性。基于直接法的SLAM或V0在動態場景中的定位精度有待提高。

發明內容

本發明所要解決的技術問題是：

為了提升傳統VO在動態場景下的定位精度和魯棒性，提供一種動態場景下基于語義分割的直接法視覺定位方法，能夠對場景中的動態物體進行分割，降低場景中的動態物體對定位的干擾。

本發明為解決上述技術問題采用以下技術方案：

一種動態場景下基于語義分割的直接法視覺定位方法，包括以下步驟：

步驟1、采集原始圖像，并利用深度學習中的圖像語義分割技術分割所述原始圖像中的動態物體，獲得包含動態物體像素級語義信息的語義圖像；

步驟2、在所述原始圖像中提取候選點，并根據步驟1獲取的語義圖像剔除動態區域候選點，僅保留靜態區域候選點；

步驟3、基于步驟2中保留的靜態區域候選點，結合圖像金字塔模型和步驟1獲取的語義圖像估計相機位姿；

步驟4、基于滑動窗口和步驟1獲得的語義圖像對關鍵幀位姿進行優化。

作為本發明一種動態場景下基于語義分割的直接法視覺定位方法的進一步優選方案，在步驟1中，獲得包含動態物體像素級語義信息的語義圖像，具體包含如下步驟：

步驟1.1、定義常見動態物體類別，所定義類別中，動態物體包括：人、自行車、汽車、摩托車、飛機、公共汽車、火車、卡車、船、鳥、貓、狗、馬、羊、牛、大象、熊、斑馬、長頸鹿；