[發明專利]面向動態環境的語義分割與視覺SLAM緊耦合方法

有效

• 申請號: 201911045057.2
• 申請日: 2019-10-30
• 公開（公告）號: CN110827305B
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 陳龍;謝玉婷;張亞琛
• 申請（專利權）人: 中山大學
• 主分類號: G06T7/12
• 分類號: G06T7/12;G06T17/05;G06N3/04;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 王曉玲

1.一種面向動態環境的語義分割與視覺SLAM緊耦合方法，其特征在于，包括以下步驟：

S1.由單目相機捕捉的原圖像，經過語義分割模塊輸出圖像的像素級語義分割結果和深度恢復結果；然后原圖像和每個像素點的語義標簽以及對應深度圖傳遞給視覺SLAM模塊；

S2.視覺SLAM模塊利用步驟S1中的信息獲知新圖像與序列中歷史圖像的數據關聯狀況，并將得到的關聯狀況信息反饋回語義分割模塊；

S3.語義分割模塊利用歷史圖像的分割結果及歷史圖像與新圖像幀之間的數據關聯狀況，優化新圖像幀的語義分割結果；

S4.優化后的語義分割結果再一次傳送回視覺SLAM模塊，利用步驟S3中優化后的語義分割結果，作為最終的像素點語義標簽，配合SLAM模塊解算出的位姿結果，及深度恢復結果，生成輸出帶語義標簽的三維重建點云。

2.根據權利要求1所述的面向動態環境的語義分割與視覺SLAM緊耦合方法，其特征在于，所述的S1步驟中，基于全連接卷積神經網絡對圖像進行像素級語義分割，并且聯合圖像的深度恢復網絡，使用同一個編碼結構，同步估計語義分割結果與深度恢復結果；所述的S1步驟中經過語義分割模塊輸出圖像的像素級語義分割結果，其具體包括以下步驟：

S101.利用仿真數據集，用有監督的方式，實現多任務編解碼網絡結構的訓練；

S102.在無真值的真實環境數據集上，把之前訓練好的多任務編解碼網絡結構作為基礎結構，利用雙目相機左右視圖之間的觀測視角差異，用無監督的方式微調原網絡結構，將其遷移到真實數據集上。

3.根據權利要求2所述的面向動態環境的語義分割與視覺SLAM緊耦合方法，其特征在于，對于語義分割與深度恢復的多任務編碼網絡，使用在ImageNet上訓練好的ResNet50結構作為編碼器，設計U型結構，用對稱的四級聯RefineNet結構分別解碼得到語義分割結果與深度恢復結果，計算語義分割真值及深度恢復真值的逐像素點誤差，將誤差作為網絡的損失函數。

4.根據權利要求3所述的面向動態環境的語義分割與視覺SLAM緊耦合方法，其特征在于，對于利用雙目相機左右視圖實現的無監督網絡結構，對左右視圖分別利用多任務編碼網絡獲得其語義分割與深度恢復結果，利用深度恢復結果將左視圖語義分割結果投影到右視圖的視角，計算對應像素位置的語義分割結果誤差，將誤差作為網絡的損失函數。

5.根據權利要求3所述的面向動態環境的語義分割與視覺SLAM緊耦合方法，其特征在于，視覺SLAM模塊第一次進行融合語義分割模塊輸出結果的流程包括：

S111.基于語義標簽輔助選取特征點；利用獲得的特征點和語義分割結果進行首次相機位姿估計；

S112.基于估計出的位姿，利用移動一致性檢查確定動態物體和靜態物體；

S113.利用靜態物體的重投影語義誤差進一步精細化位姿估計結果。

6.根據權利要求5所述的面向動態環境的語義分割與視覺SLAM緊耦合方法，其特征在于，所述的S111步驟中的選取特征點，首先在圖像中檢測ORB特征點，再次基于這些特征點對應的語義標簽，濾掉不可靠類別的特征點，所述的不可靠類別指的是預先定義的可能為動態的類別和較遠處特征不穩定的類別的點。

7.根據權利要求5所述的面向動態環境的語義分割與視覺SLAM緊耦合方法，其特征在于，所述的S112步驟中，對于首次相機位姿估計，首先利用上一步篩選出的特征點和靜態類別語義分割結果，用RANSAC算法在同類別語義分割結果之間找到對應關系并得到對應的位姿解算結果，再基于這個解算結果作為初始值，用聯合特征點和語義分割結果的局部Bundle Adjustment恢復一個較精細的位姿估計結果。