[發明專利]基于概率網格濾波的語義視覺SLAM方法

在審

• 申請號: 202011454498.0
• 申請日: 2020-12-10
• 公開（公告）號: CN112465858A
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 李迅;王重九;張彥鐸;周覃;崔恒;尹建南
• 申請（專利權）人: 武漢工程大學
• 主分類號: G06T7/215
• 分類號: G06T7/215;G06T7/246;G06T7/73;G06K9/46;G06K9/62
• 代理公司: 湖北武漢永嘉專利代理有限公司 42102
• 代理人: 許美紅

1.一種基于概率網格濾波的語義視覺SLAM方法，其特征在于，包括以下步驟：

步驟1、使用攝像機傳感器依次采集場景的RGB圖像，并對采集的圖像進行ORB特征點提取、超點分割和語義分割；

步驟2、根據超點分割和語義分割結果，創建并初始化概率網格；

步驟3、根據提取的ORB特征點，計算特征點在上下幀間的匹配信息，并使用匹配信息將上幀中網格概率傳播到相應下幀概率網格中，完成概率網格更新；

步驟4、根據上下幀間特征點匹配信息，對其匹配點進行運動一致性檢查，更新概率網格的運動狀態；

步驟5、根據更新后的概率網格，使用貝葉斯概率公式更新當前概率網格的屬性，并創建動態區域的掩膜；

步驟6、根據提取的ORB特征點，使用動態區域的掩膜進行濾波，刪除概率較高的動態特征點；

步驟7、將步驟6中保留的特征點用于跟蹤、局部建圖和回環檢測，最終實現概率網格增強語義視覺SLAM。

2.根據權利要求1所述的基于概率網格濾波的語義視覺SLAM方法，其特征在于，步驟1中，攝像機采集640x480分辨率的圖像，對RGB圖像數據均勻提取ORB特征點，其中ORB特征點的提取是基于圖像金字塔的,在不同尺度的圖像上面提取“Oriented FAST”關鍵點和BRIEF描述子,該關鍵點為增加了方向的FAST關鍵點；同時將RGB圖像使用超點分割技術將圖片細分成網格，并使用Mask-rcnn網絡進行語義分割，其中使用超點分割技術分割圖像時，將所有目標進行細分，將圖像分割成28x28的網格；同時使用Mask-rcnn網絡進行語義分割，Mask-rcnn在TensorFlow框架中實現，并在COCO數據集上進行訓練。

3.根據權利要求1所述的基于概率網格濾波的語義視覺SLAM方法，其特征在于，步驟2中，每個概率網格有6種屬性：中心點坐標、網格id、運動狀態、概率、語義信息、更新狀態；通過語義分割的結果初始化概率網格中的概率、語義信息。

4.根據權利要求1所述的一種基于概率網格濾波的語義視覺SLAM方法，其特征在于，步驟3具體如下：

在每一個相鄰幀間，將上一幀中由步驟1所提取的ORB特征點通過金字塔-光流追蹤算法匹配到當前幀，并根據匹配結果將上幀的格子概率傳播到當前幀，傳播方法如下：遍歷上一步中跟蹤到的所有匹配的特征點對，如果特征點對中的下一幀的特征點在下一幀某一超點網格內，并且該網格狀態沒有更新，則將上一幀中配對的特征點在上一幀某一超點網格的概率傳播到網格狀態沒有更新的網格內，傳播后網格概率標記為已更新。

5.根據權利要求1所述的基于概率網格濾波的語義視覺SLAM方法，其特征在于：步驟4具體包括步驟：

根據語義分割的結果將特征點標記為潛力運動點和無潛力運動點，并將標記為潛力運動點的特征點對全部去除，通過無潛力運動點計算基礎矩陣F，再對極線約束對圖像上的真實運動特征點和靜態特征點進行二次判斷，具體由上一幀的特征點的極線與下一幀對應的特征點的距離來判斷，如果距離小于預設的閾值D，該特征點被判定為靜態點，否則為動態點；如果該特征點在某一網格內被標記為動態，則將該概率網格中的運動狀態屬性標記為動態。

6.根據權利要求1所述的基于概率網格濾波的語義視覺SLAM方法，其特征在于，步驟5具體包括以下步驟：

運動一致性檢查中將會標記特征點的運動情況，動態點所在的超點網格將會增加一個概率值，如下公式：

而靜態點所在的超點網格將會減少一個概率值，如下公式：

其中P(D_next)代表下一幀中網格更新后的概率，P(D_prev)其代表下一幀中網格更新前的概率；

得到整個圖像的超點網格概率值，將概率值超過50％的網格生成動態區域掩膜即像素值為1，而概率低于50％的網格生成靜態區域掩膜即像素值為0。