[發明專利]一種基于特征點檢測與分割的語義地圖增量更新方法

有效

• 申請號: 202011246768.9
• 申請日: 2020-11-10
• 公開（公告）號: CN112396696B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 陳龍;陳兆棠;張亞琛
• 申請（專利權）人: 中山大學
• 主分類號: G06T17/05
• 分類號: G06T17/05;G06T7/73;G06T7/187;G06V10/26;G06V10/82;G06N3/0464
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 陳偉斌

1.一種基于特征點檢測與分割的語義地圖增量更新方法，其特征在于：包括以下步驟：

S1.獲取先前語義地圖和室內外RGB圖像，并對RGB圖像進行預處理；

S2.檢測預處理后RGB圖像的特征點，將采集的特征點與先前語義地圖特征點進行匹配，并計算出相應的姿態變換矩陣；

S3.計算預處理后RGB圖像的語義分割結果；

S4.根據步驟S2的姿態變換矩陣完成坐標變化，對比特征點在坐標變換前和變換后對應的語義標簽是否一致，從而提取增量；

具體包括以下步驟：S41.記錄當前圖像特征點在語義分割結果中所對應的語義標簽；S42.利用姿態變換矩陣將當前圖像及其語義分割結果映射到與先前語義地圖相同的坐標系中；S43.對比特征點在坐標變換前和變換后對應的語義標簽是否一致，從而提取增量；步驟S43中包括以下提取增量的方式：a.對比當前圖像變換前特征點的語義標簽與變換后特征點在先前語義地圖對應的語義標簽是否一致，若不一致，是增量出現，只需提取與采集的特征點在當前圖像有相同標簽且處于同一連通域的像素所構成的掩膜；b.對比先前語義地圖上特征點對應的語義標簽與變換過來的語義分割上的語義標簽是否一致，若不一致，是增量消失，只需提取與采集的特征點在先前語義地圖上有相同標簽且處于同一連通域的點構成的掩膜；c.在同一區域處出現增量出現和增量消失兩種情況，提取增量出現和增量消失所對應的掩膜；

S5.將提取的增量信息更新到先前語義地圖中；包括以下增量更新方式：a.若存在增量出現，只需將提取的掩膜對應的語義信息替換到先前語義地圖上；b.若存在增量消失或增量變換，就需要先將在先前語義地圖上提取的掩膜對應的語義信息刪除，并將在當前圖像上提取的語義信息添加到先前語義地圖上；

S6.修復語義地圖更新后出現的空缺區域，獲得完整的語義地圖。

2.根據權利要求1所述的一種基于特征點檢測與分割的語義地圖增量更新方法，其特征在于：所述步驟S1中通過雙目相機采集室內外的RGB圖像，計算出RGB圖像中的深度信息，并進行剔除RGB圖像中動態物的預處理。

3.根據權利要求2所述的一種基于特征點檢測與分割的語義地圖增量更新方法，其特征在于：所述雙目相機采集左右RGB圖像，根據左右RGB圖像計算深度信息。

4.根據權利要求1所述的一種基于特征點檢測與分割的語義地圖增量更新方法，其特征在于：所述步驟S3中通過卷積神經網絡的分割模型得到語義分割結果。

5.根據權利要求1所述的一種基于特征點檢測與分割的語義地圖增量更新方法，其特征在于：所述連通域是根據語義分割結果計算而得。

6.根據權利要求1所述的一種基于特征點檢測與分割的語義地圖增量更新方法，其特征在于：所述步驟S6中通過卷積神經網絡來進行圖像修復，根據語義地圖上下文信息去修補其空缺的區域，獲得完整的語義地圖。

7.根據權利要求1-6任意一條所述的一種基于特征點檢測與分割的語義地圖增量更新方法，其特征在于：所述語義地圖包括特征點信息和語義信息。