[發明專利]即時定位與地圖構建的優化方法及裝置、介質和電子設備

有效

• 申請號: 201910578527.5
• 申請日: 2019-06-28
• 公開（公告）號: CN110322500B
• 公開（公告）日: 2023-08-15
• 發明（設計）人: 王宇鷺
• 申請（專利權）人: OPPO廣東移動通信有限公司
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06T7/73
• 代理公司: 深圳市聯鼎知識產權代理有限公司 44232
• 代理人: 劉抗美

1.一種即時定位與地圖構建的優化方法，其特征在于，包括：

提取當前幀圖像的視覺特征點，并確定所述視覺特征點中與所述當前幀圖像的深度信息不相關聯的特征點，作為單目特征點；

如果所述當前幀圖像與參考幀圖像之間匹配的視覺特征點的數量大于預設匹配閾值，則在視覺特征與慣性特征對齊時，利用由單目特征點信息構建的第一約束條件以及由慣性信息構建的第二約束條件對所述當前幀圖像的位姿進行優化，得到中間位姿參數；

利用所述當前幀圖像的深度信息和所述參考幀圖像的深度信息對所述中間位姿參數進行優化，以確定所述當前幀圖像的位姿參數。

2.根據權利要求1所述的即時定位與地圖構建的優化方法，其特征在于，所述即時定位與地圖構建的優化方法還包括：

如果所述當前幀圖像與參考幀圖像之間匹配的視覺特征點的數量不大于所述預設匹配閾值，則執行以下重定位過程：

計算所述當前幀圖像的詞袋向量；

基于所述當前幀圖像的詞袋向量從關鍵幀數據庫中確定出多個候選圖像；

確定各所述候選圖像中與所述當前幀圖像的視覺特征點匹配的視覺特征點；

利用與所述當前幀圖像的視覺特征點匹配的視覺特征點計算所述當前幀圖像的位姿，并根據計算結果從所述多個候選圖像中確定目標圖像；

基于所述目標圖像的視覺特征點與所述當前幀圖像的視覺特征點優化所述當前幀圖像的位姿。

3.根據權利要求1所述的即時定位與地圖構建的優化方法，其特征在于，所述即時定位與地圖構建的優化方法還包括：

獲取所述當前幀圖像的深度信息；

基于預先標定的外參矩陣確定所述視覺特征點與所述深度信息是否相關聯；

其中，將所述視覺特征點中與所述深度信息相關聯的特征點確定為立體特征點。

4.根據權利要求3所述的即時定位與地圖構建的優化方法，其特征在于，所述即時定位與地圖構建的優化方法還包括：

在視覺特征與慣性特征未對齊時，基于運動速度恒定模型預測所述當前幀圖像的位姿，并將單目特征點信息以及立體特征點信息作為約束條件對預測的所述當前幀圖像的位姿進行優化。

5.根據權利要求1所述的即時定位與地圖構建的優化方法，其特征在于，利用由單目特征點信息構建的第一約束條件對所述當前幀圖像的位姿進行優化包括：

對所述當前幀圖像的單目特征點信息和所述參考幀圖像的單目特征點信息進行三角化處理，以分別確定所述當前幀圖像和所述參考幀圖像基于單目特征點的空間三維信息；

計算所述當前幀圖像和所述參考幀圖像基于單目特征點的空間三維信息的重投影誤差，以對所述當前幀圖像的位姿進行優化。

6.根據權利要求3所述的即時定位與地圖構建的優化方法，其特征在于，所述即時定位與地圖構建的優化方法還包括：

預先提取一輸入圖像的視覺特征點，并確定所述輸入圖像的單目特征點和立體特征點；

將所述輸入圖像的視覺特征點的數量與第一預設閾值進行比較，并將所述輸入圖像的立體特征點的數量與第二預設閾值進行比較；

如果所述輸入圖像的視覺特征點的數量大于所述第一預設閾值，并且所述輸入圖像的立體特征點的數量大于所述第二預設閾值，則將所述輸入圖像作為所述參考幀圖像。

7.根據權利要求1所述的即時定位與地圖構建的優化方法，其特征在于，利用所述當前幀圖像的深度信息和所述參考幀圖像的深度信息對所述中間位姿參數進行優化包括：

基于所述中間位姿參數，確定所述當前幀圖像的深度信息對應的點云地圖作為第一點云地圖，并確定所述參考幀圖像的深度信息對應的點云地圖作為第二點云地圖；

提取所述第一點云地圖和所述第二點云地圖的幾何特征點，并確定所述第一點云地圖與所述第二點云地圖之間匹配的幾何特征點；

利用所述匹配的幾何特征點的信息構建第三約束條件，并利用所述第三約束條件對所述中間位姿參數進行優化。