[發明專利]動態場景機器人定位建圖系統及方法

有效

• 申請號: 201810298042.6
• 申請日: 2018-04-04
• 公開（公告）號: CN108596974B
• 公開（公告）日: 2020-08-04
• 發明（設計）人: 劉辛軍;于超;喬飛;謝福貴;王智杰
• 申請（專利權）人: 清華大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T17/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

1.一種動態場景機器人視覺定位建圖系統，其特征在于，包括：

語義分割線程，用于采用深度學習技術實時的獲取語義分割結果，以生成帶有語義信息的語義圖像；

位姿估測線程，用于根據RGB圖像獲取ORB特征點，通過運動一致性檢測獲得運動區域，結合語義分割的信息剔除動態區域上的外點，并通過匹配剩余穩定目標的特征點得到變換矩陣，生成語義圖像關鍵幀，所述位姿估測線程進一步用于：獲取當前幀到達匹配特征點的LK光流金字塔；通過多個樣本點和RANSAC得到基礎矩陣；根據基礎矩陣得到當前幀的極線；判斷匹配點到極線的距離是否小于預設閾值；如果距離大于預設閾值，則匹配點為移動點；將運動一致性檢測法與語義信息相結合構成兩種語義信息：移動物體或非移動物體，如果物體被判為移動的，則移除該物體邊界的所有特征點；

稠密語義八叉樹地圖線程，用于根據所述語義圖像的關鍵幀生成帶語義標簽的3D稠密語義八叉樹地圖，完成動態目標的剔除，可用于高級復雜任務，所述稠密語義八叉樹地圖建立線程還用于通過概率融合法建立穩定的3D八叉樹地圖，將動態目標剔除，并與語義信息相融合，該地圖可以用于導航以及機器人完成高級復雜任務；

后端優化線程，用于對所述關鍵幀進行局部優化和關鍵幀篩選；

回環線程，用于對局部優化和關鍵幀篩選的結果進行整體優化和回環檢測。

2.根據權利要求1所述的動態場景機器人視覺定位建圖系統，其特征在于，所述語義分割線程與所述位姿估測線程進行數據交流，與運動一致性檢測相結合剔除環境中的動態目標。

3.一種動態場景機器人視覺定位建圖方法，其特征在于，包括以下步驟：

采用深度學習技術實時的獲取語義分割結果，以生成帶有語義信息的語義圖像；

根據RGB圖像獲取ORB特征點，通過運動一致性檢測獲得運動區域，結合語義分割的信息剔除動態區域上的外點，并通過匹配剩余穩定目標的特征點得到變換矩陣，生成語義圖像關鍵幀；其中，所述根據RGB圖像獲取ORB特征點，通過運動一致性檢測獲得運動區域，結合語義分割的信息剔除動態區域上的外點，并通過匹配剩余穩定目標的特征點得到變換矩陣，生成語義圖像關鍵幀，進一步包括：獲取當前幀到達匹配特征點的LK光流金字塔；通過多個樣本點和RANSAC得到基礎矩陣；根據基礎矩陣得到當前幀的極線；判斷匹配點到極線的距離是否小于預設閾值；如果距離大于預設閾值，則匹配點為移動點；將運動一致性檢測法與語義信息相結合構成兩種語義信息：移動物體或非移動物體，如果物體被判為移動的，則移除該物體邊界的所有特征點；

根據所述語義圖像的關鍵幀生成帶語義標簽的3D稠密語義八叉樹地圖，完成動態目標的剔除，可用于高級復雜任務，稠密語義八叉樹地圖建立線程，用于根據語義圖像的關鍵幀生成帶語義標簽的3D稠密語義八叉樹地圖，進一步包括：通過概率融合法建立穩定的3D八叉樹地圖，并將3D八叉樹地圖與語義信息相融合；

對所述關鍵幀進行局部優化和關鍵幀篩選；

對局部優化和關鍵幀篩選的結果進行整體優化和回環檢測。