[發明專利]一種基于語義分割動態點的視覺SLAM方法

在審

• 申請號: 202111024116.5
• 申請日: 2021-09-02
• 公開（公告）號: CN113516664A
• 公開（公告）日: 2021-10-19
• 發明（設計）人: 唐新星;劉新;劉忠旭;陳永剛;劉博聰;陳國梁;項天野
• 申請（專利權）人: 長春工業大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06T17/00;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

一種基于語義分割動態點的視覺SLAM方法，涉及計算機視覺技術領域。本發明通過RGB?D相機采集環境圖像信息，對所獲得的圖像進行特征提取和語義分割，得到提取的ORB特征點與語義分割結果；利用基于多視角幾何約束的動態物體檢測算法，檢測出剩余動態物體并剔除動態特征點；順次執行跟蹤、局部建圖以及回環檢測線程，從而在動態場景下構建出準確的靜態場景八叉樹三維語義地圖，最終實現面向動態場景的基于語義分割動態點的視覺SLAM方法。

技術領域：

本發明涉及計算機視覺技術領域，更具體地說，涉及一種基于語義分割動態點的視覺SLAM方法。

背景技術：

同時定位與建圖(SLAM，simultaneous localization and mapping)的研究有著很長的歷史，最初由Smith等人提出，然后被廣大學者逐漸完善。它是指機器人在環境未知的狀態下，通過搭載的傳感器所獲得的信息來估計自身的位置，并且同時對所感知的周圍環境進行地圖構建。視覺SLAM即以相機為傳感器，完成定位和建圖任務的系統，是移動機器人完成智能化任務的先決條件，已經成為當下機器人自主移動導航研究中的一個熱點。

目前，研究者們已經找到了很多成熟的算法，例如集束優化，回環檢測，尤其是解決了優化過程中的計算量爆發問題，再結合新出現的攝像頭，發展出了多個成熟的視覺SLAM系統。不過多數視覺SLAM方案都是假設物體靜止，然而在真實場景中往往出現動態目標，降低視覺里程計的魯棒性，引起相機位姿估計不準確、無法構建全局一致的地圖。此外，視覺SLAM構建的幾何地圖維護的是環境中的幾何信息，一般是包括空間特征點的稀疏路標地圖，或者是可以用于導航避障的點云稠密地圖，無法滿足機器人與環境交互的高級語義任務需求。

近年來，隨著深度學習技術的發展，人們開始將目標檢測或者語義分割等方法，引入到語義地圖的構建中。語義地圖，具體來說就是包含物體位置和物體屬性信息。通過搭載的相機采集的圖像，不僅僅可以通過SLAM算法獲取機器人的位置信息，同時結合深度神經網絡的目標檢測、識別的優勢，可以得到更加豐富的語義信息。

發明內容：

本發明的目的是針對上述技術的不足，提供一種語義分割動態點的視覺SLAM方法，這種方法能夠剔除環境中動態特征點，用靜態特征點構建精度更高的語義地圖。

實現本發明目的的技術方案是：

一種基于語義分割動態點的視覺SLAM方法，步驟如下：

步驟(1)通過RGB-D相機采集環境圖像信息，對所獲得的圖像進行特征提取和語義分割，得到提取的ORB特征點與語義分割結果；

步驟(2)根據提取的特征點與語義分割結果，利用基于多視角幾何約束的動態物體檢測算法，檢測出非先驗動態物體并剔除動態特征點；

步驟(3)順次執行跟蹤、局部建圖以及回環檢測線程，從而在動態場景下構建出準確的靜態場景八叉樹三維語義地圖，最終實現面向動態場景的語義分割動態點的視覺SLAM方法。

優選的是，本發明步驟(1)的具體過程如下：在相機采集到RGB-D圖像數據后，首先將RGB圖傳遞給卷積神經網絡(CNN)，分離出所有先驗動態物體，對圖像完成語義分割任務，然后在此基礎上提取圖像的ORB特征點。

優選的是，作為特征提取模塊的預處理部分，本方法將MaskR-CNN神經網絡引入SLAM框架，為SLAM算法提供語義信息和動態目標的先驗信息，使用MS COCO數據集進行訓練。MaskR-CNN神經網絡的輸入尺寸為h×w×3的RGB圖像，那么神經網絡的輸出是大小為h×w×l的矩陣，其中h表示圖像的像素高度，w表示圖像的像素寬度，l表示圖像中動態物體的數量；對于每一個輸出通道i∈l，都代表了一個物體的二值掩瞙，通過將所有通道輸出整合到一張圖像中，得到當前圖像幀中所有動態物體的掩瞙；并對掩瞙進行膨脹處理，剔除在動態物體邊界上的特征點。