[發明專利]基于語義平面的單目即時定位與致密語義地圖構建方法

有效

• 申請號: 202110394142.0
• 申請日: 2021-04-13
• 公開（公告）號: CN113192133B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 潘赟;包瑤琦;楊哲;朱懷宇
• 申請（專利權）人: 浙江大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/66;G06T7/55;G06V10/50;G06V10/74;G06V10/26;G01C21/32
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

1.一種基于語義平面的單目即時定位與致密語義地圖構建方法，其特征在于，所述方法包括以下步驟：

步驟1，當新一幀圖像出現時，首先檢測新一幀圖像中的特征點，然后判斷系統是否已初始化；若未初始化則進行初始化，建立最初兩幀間的對應關系；若已初始化，則根據關鍵幀隊列進行相機當前位置追蹤；

步驟2，判斷新一幀圖像是否為關鍵幀；若不是關鍵幀，則根據新一幀圖像對當前局部地圖進行完善；若是關鍵幀，則將其輸入到語義分割網絡中獲取該幀像素級語義標簽；

步驟3，將新關鍵幀加入關鍵幀隊列，并進行聯合優化，包含光束平差以及語義大平面限制；光束平差利用特征點在不同關鍵幀中的對應關系，優化相機位姿和特征點位置參數；語義大平面限制利用語義平面的分布特性濾除外點，便于在后續優化中進一步提升定位精度；

步驟4，判斷關鍵幀隊列數量是否超出最大值；若未超出最大值，則跳回步驟1；若已超出最大值，挑選出舊關鍵幀中與新關鍵幀共視點個數最少的一幀關鍵幀進行邊緣化；

步驟5，針對邊緣化幀進行致密語義地圖構建；結合語義分割結果以及特征點在圖像中的位置以及顏色信息，進行語義小平面擬合，并計算其語義質心；該邊緣化幀中靜態語義類像素點根據其同語義類最近的語義質心對應的語義小平面進行3D位置估計，進而恢復出致密的語義地圖；

構建致密語義地圖的步驟如下：

步驟5-1，對每一類靜態語義類特征點，根據距離公式dis＝dis_E+dis_I進行聚類，其中dis_E表示在圖像坐標系中的歐式距離，dis_I表示灰度值差異；首先將點組合最近點對，之后將點對組合成點組，點組中的點不在同一條直線上且不重復；

步驟5-2，針對每個點組，估計該點組的平面模型，并計算該點組的語義質心，語義質心的位置為點組的幾何中心，其灰度為點組中點的平均灰度；

步驟5-3，針對每一個靜態語義類像素點，計算其到同一語義類語義質心的距離，選擇最近語義質心對應的平面模型去估計該像素點的3D位置。

2.如權利要求1所述的基于語義平面的單目即時定位與致密語義地圖構建方法，其特征在于，在所述步驟3中，聯合優化的步驟如下：

步驟3-1，光束平差，利用新關鍵幀中特征與原關鍵幀隊列關鍵幀中特征的對應關系，優化關鍵幀隊列中關鍵幀對應的相機位姿以及特征點位置，最小化系統誤差；

步驟3-2，對于處于某一平面上的點，其深度表示為其中[u v 1]是該點在圖像坐標系中的齊次坐標；K是相機內參矩陣；[a₁ a₂ a₃]是所在平面的法向量；將新關鍵幀中的靜態類特征點根據其語義標簽分為水平分布語義類與垂直分布語義類；每一個水平分布語義類特征，其所在平面法向量簡化為[0 a₂ 0]，其深度表示為即處于同一平面上的水平分布類特征的深度差異由v體現；每一個垂直分布語義類特征，其所在平面法向量簡化為[a₁ 0 a₃]，其深度表示為即處于同一平面上的垂直分布類特征的深度差異可以由u體現；對于每一個水平分布語義類，根據其圖像坐標v劃分成若干個直方圖；對于每一個垂直分布語義類，根據其圖像坐標u劃分成若干個直方圖；假定每個直方圖中的特征點大致符合一個大語義平面，根據特征點的深度利用置信區間(μ-θ₁δ，μ+θ₂δ)濾除與周圍點不一致的外點，其中μ為該直方圖中特征點深度的平均值，δ為深度的方差；

步驟3-3，針對每個直方圖，將水平分布語義類以及垂直分布語義類的最大深度值作為動態語義類特征點深度閾值，深度大于該閾值的動態語義類特征點將被視為外點。