[發明專利]一種基于語義分割的SLAM回環檢測改進方法

有效

• 申請號: 202011521872.4
• 申請日: 2020-12-21
• 公開（公告）號: CN112508985B
• 公開（公告）日: 2022-12-16
• 發明（設計）人: 王博;吳忻生;陳安;陳純玉;楊璞光
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T7/13
• 分類號: G06T7/13;G06T7/73;G06F16/587;G06N3/04
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍;江裕強

1.一種基于語義分割的SLAM回環檢測改進方法，其特征在于，包括以下步驟：

步驟一、獲取道路場景語義分割的通用數據集，將該通用數據集按照劃分為訓練集、測試集、驗證集；

步驟二、使用RGB攝像頭獲取環境圖像，在不同種環境狀況下采集道路環境圖像；

步驟三、將訓練集中的每張RGB圖片送入語義分割網絡進行語義分割處理，利用驗證集驗證效果后，獲取語義分割預測的各個像素的分類結果；

步驟四、根據分類結果，獲取語義分割圖中包含對應類別的對象特征向量，計算各個對象相對于參照對象的位置向量，將得到的位置向量作為地點模型的對象間位置關系；

步驟五、構建包含語義信息的地點模型，具體如下：

定義場景模型語義描述符L，表示環境語義模型中的物體特征分量：

式中l_i是特征圖中D維描述符x_i在位置i處的語義標簽，x_i是D維的特征描述符，μ_s是標簽類別的平均值，s為語義分割網絡得到的分類信息，N是語義標簽的位置集合；

L_s表示得到的對象特征向量的具體組成，是來自特定語義類別的殘差描述符所構成的集合，公式如下所示：

得到的語義組合向量L是所有需要建模的語義描述符L_s按照從左到右，從上到下的順序級聯；對得到的級聯描述向量進行L2范數歸一化，具體計算公式如下所示：其中L′為歸一化之后的結果；

為得到建模地點的空間位置信息，將圖像劃分為n*n的網格，選取圖像中的靜態物體的中心點作為參照點，從左向右，從上向下遍歷網格，如果網格中存在像素塊，則求對應像素塊中心點到參照點的向量：

其中是語義分割圖中B物體的中心坐標相對于原點的向量，是語義分割圖中A物體的中心坐標相對于原點的向量，為B相對于參照物體A的向量差，表示A物體與B物體之間的空間位置關系；

步驟六、通用數據集中的圖像經過地點模型分析得到語義地點向量，創建地點的圖像庫，存入包含地點語義信息的向量，

步驟七、匹配待檢測圖像和圖像庫中圖像的相似度；

步驟八、進行閉環檢測，如果找到相似度超過閾值的向量，則代表當前圖像是閉環節點，否則把當前圖像加入到已有的圖像庫中。

2.根據權利要求1所述的基于語義分割的SLAM回環檢測改進方法，其特征在于，所述語義分割網絡為改進的DeepLab v3網絡，所述改進的DeepLab網絡是在原來DeepLab網絡的空洞空間卷積池化金字塔(Atrous Spatial Pyramid Pooling，ASPP)模塊上引入全局注意力模塊，對特征進行提取，同時在原來空洞卷積的各個分支后面添加3*3的卷積，進一步對特征進行提取；改進的DeepLab網絡得到每一個像素的標簽作為語義分割的結果。

3.根據權利要求2所述的基于語義分割的SLAM回環檢測改進方法，其特征在于，所述改進的DeepLab v3網絡的類別包括建筑物、樹木、道路、交通指示牌、汽車，所述改進的DeepLab v3網絡對物體類別進行顏色標記。

4.根據權利要求3所述的基于語義分割的SLAM回環檢測改進方法，其特征在于，所述改進的DeepLab v3網絡使用全局注意力機制得到多尺度聚合特征圖，從主干網絡的卷積層中提取低層細節特征圖，將多尺度聚合特征圖和低層細節特征圖作為共同送入解碼器網絡進行上采樣，從而得到經過注意力篩選的語義分割圖。