[發明專利]一種融合場景語義的室外單目同步建圖與定位方法

有效

• 申請號: 202110023602.9
• 申請日: 2021-01-08
• 公開（公告）號: CN112734845B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 項志宇;閉云峰;錢琦;白庭銘;鐘文祺
• 申請（專利權）人: 浙江大學;華為技術有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/80;G06V10/26;G06V10/40;G06V10/75;G06V10/774;G06V10/80;G06K9/62;G06F16/29
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

1.一種融合場景語義的室外單目同步建圖與定位方法，其特征在于：方法如下：

(1)獲取訓練數據集，構建并訓練實時語義分割網絡，將訓練后的實時語義分割網絡接收單目相機捕獲的圖像輸出語義分割結果圖，通過語義分割結果圖獲得各個像素的語義類別標簽；

(2)實時通過SLAM前端模塊中的視覺里程計接收單目相機捕獲的圖像，獲取圖像的特征點和描述子，并根據語義分割結果圖獲取特征點的語義類別標簽，由特征點和語義類別標簽組建語義特征點，由所有語義特征點構成了語義特征點集；

(3)實時利用語義特征點建立語義地圖，通過語義特征點和語義地圖中的語義地圖點的匹配更新語義地圖點的語義類別標簽統計信息；

(4)在SLAM后端模塊接收不同時刻視覺里程計測量的單目相機的位姿，在利用單目相機的位姿和語義地圖點在世界坐標系下的三維位置坐標構建最小二乘優化重投影誤差時，加入語義權重進行優化，實現室外單目同步建圖與定位；

所述步驟(4)中：

4.1、將每個語義地圖點p_i從世界坐標系下的三維位置坐標投影成像素坐標u_pi：

其中，ξ為相機位姿，包括平移和旋轉，p_wi為第i個語義地圖點p_i在世界坐標系下的三維位置坐標，K為單目相機的內參矩陣，s_i是第i個語義地圖點p_i的深度，exp()為指數映射，^符號表示將向量變成反對稱矩陣的操作；

4.2、根據語義地圖點p_i的像素坐標u_pi和語義特征點的坐標獲得語義特征點和匹配的語義地圖點之間的重投影誤差，在重投影誤差基礎上加上語義權重w_i，最小二乘問題構建以下優化函數：

其中，ξ^*為估計的相機位姿；w_i表示第i個語義地圖點p_i的語義類別標簽的語義權重，n表示語義地圖點的總數，通過語義類別標簽統計信息取最大次數的語義類別標簽，將最大次數的語義類別標簽對應的語義權重w_i代入上述公式；

4.3、求解上述優化函數獲得第i個語義地圖點p_i在世界坐標系下的三維位置坐標P_wi和相機位姿ξ。

2.根據權利要求1所述的一種融合場景語義的室外單目同步建圖與定位方法，其特征在于：

所述的實時語義分割網絡包括空間信息路徑和上下文信息路徑和特征融合模塊；空間信息路徑和上下文信息路徑分別接收輸入圖像處理后輸出到特征融合模塊進行融合，特征融合模塊的輸出作為實時語義分割網絡的輸出；

所述的空間信息路徑包含了三個連續的卷積歸一化模塊，每個卷積歸一化模塊是主要由卷積層、批歸一化層、激活函數依次連接而成，最后一個卷積歸一化模塊的輸出輸入到特征融合模塊；

所述的上下文信息路徑包含四個下采樣層和兩個注意力優化模塊，四個下采樣層依次連接，第三個下采樣層和第四個下采樣層的輸出分別經各自的一個注意力優化模塊處理后再與第四個下采樣層的輸出連接后輸入到特征融合模塊；所述的注意力優化模塊包含了第一全局池化層、第一卷積層、第一批歸一化層和第一激活函數；第一全局池化層的輸入作為注意力優化模塊的輸入，第一全局池化層依次經第一卷積層、第一批歸一化層和第一激活函數連接，第一激活函數的輸出和注意力優化模塊的輸入經相乘操作后輸出并作為注意力優化模塊的輸出；

所述的特征融合模塊包含了連接層、卷積歸一化模塊、第二全局池化層、第二卷積層、第二激活函數、第三卷積層和第三激活函數；連接層接收分別來自空間信息路徑和上下文信息路徑的兩個輸入后進行連接操作，連接層的輸出連接到卷積歸一化模塊，卷積歸一化模塊的輸出依次經第二全局池化層、第二卷積層、第二激活函數、第三卷積層后輸入到第三激活函數，第三激活函數的輸出和卷積歸一化模塊的輸出經相乘操作后再與卷積歸一化模塊的輸出進行相加操作，相加操作的結果作為特征融合模塊的輸出。