[發明專利]視覺定位方法及相關裝置、設備

有效

• 申請號: 202110564566.7
• 申請日: 2021-05-24
• 公開（公告）號: CN113240656B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 章國鋒;鮑虎軍;黃昭陽;周晗;周曉巍;李鴻升
• 申請（專利權）人: 浙江商湯科技開發有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/70;G06V10/74;G06T17/00
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 何倚雯

1.一種視覺定位方法，其特征在于，包括：

獲取對預設場景拍攝到的待定位圖像；

利用地標檢測模型對所述待定位圖像進行地標檢測，得到所述待定位圖像中目標地標點；其中，所述目標地標點為所述預設場景的若干地標點中的至少一個，所述若干地標點是從所述預設場景的場景地圖中選擇得到的，所述場景地圖是對所述預設場景進行三維建模得到的，且所述若干地標點分別位于所述場景地圖各個子區域的預設位置處；

基于所述目標地標點在所述待定位圖像中的第一位置信息和所述目標地標點在所述場景地圖中的第二位置信息，得到所述待定位圖像的位姿參數；

所述利用地標檢測模型對所述待定位圖像進行地標檢測，得到所述待定位圖像中目標地標點，包括：利用所述地標檢測模型中的特征提取網絡對所述待定位圖像進行特征提取，得到特征圖像；利用所述地標檢測模型中的地標預測網絡對所述特征圖像進行地標預測，得到第一地標預測圖像；以及，利用所述地標檢測模型中的方向預測網絡對所述特征圖像進行方向預測，得到第一方向預測圖像；對所述第一地標預測圖像和所述第一方向預測圖像進行分析，得到所述目標地標點；其中，所述第一地標預測圖像包括所述待定位圖像中像素點的預測地標屬性，所述第一方向預測圖像包括所述待定位圖像中像素點的第一方向屬性，所述預測地標屬性用于標識所述像素點對應的地標點，所述第一方向屬性包括指向地標投影的第一方向信息，所述地標投影表示所述像素點對應的地標點在所述待定位圖像中的投影位置；

和/或，所述地標檢測模型的訓練步驟包括：分別確定所述子區域和所述地標點在樣本圖像的投影區域和投影位置；基于所述投影區域和所述投影位置，確定所述樣本圖像中樣本像素點的樣本地標屬性和樣本方向屬性；其中，所述樣本地標屬性用于標識所述樣本像素點對應的樣本地標點，且所述樣本地標點為所述投影區域覆蓋所述樣本像素點的子區域所含的地標點，所述樣本方向屬性包括指向所述樣本像素點對應的樣本地標點的投影位置的樣本方向信息；分別基于所述樣本地標屬性和所述樣本方向屬性，得到所述樣本圖像的樣本地標圖像和樣本方向圖像；其中，所述樣本地標圖像中第一像素點標注有對應的樣本像素點的樣本地標屬性，所述樣本方向圖像中第二像素點標注有對應的樣本像素點的樣本方向屬性；利用所述樣本圖像、所述樣本地標圖像和所述樣本方向圖像訓練所述地標檢測模型。

2.根據權利要求1所述的方法，其特征在于，所述各個子區域是對所述場景地圖的表面進行劃分得到的；

和/或，所述預設位置包括所述子區域的中心位置；

和/或，所述各個子區域之間的面積差異低于第一閾值。

3.根據權利要求1所述的方法，其特征在于，所述對所述第一地標預測圖像和所述第一方向預測圖像進行分析，得到所述目標地標點，包括：

獲取具有相同所述預測地標屬性的像素點所構成的候選區域；

統計所述候選區域中所述像素點的第一方向屬性的一致性情況；

在所述一致性情況滿足預設條件的情況下，將所述候選區域中所述像素點的預測地標屬性所標識的地標點作為所述目標地標點，并基于所述候選區域中所述像素點的第一方向屬性，得到所述目標地標點在所述待定位圖像中的第一位置信息。

4.根據權利要求3所述的方法，其特征在于，在所述統計所述候選區域中所述像素點的第一方向屬性的一致性情況之前，所述方法還包括：

在所述候選區域的區域面積小于第二閾值的情況下，過濾所述候選區域。

5.根據權利要求3所述的方法，其特征在于，所述第一方向信息包括第一方向矢量；所述統計所述候選區域中所述像素點的第一方向屬性的一致性情況，包括：

獲取所述候選區域中所述像素點之間的第一方向矢量的交點；

統計所述交點的外點率，得到所述一致性情況。