[發明專利]視覺定位方法及相關裝置、設備

有效

• 申請號: 202110564566.7
• 申請日: 2021-05-24
• 公開（公告）號: CN113240656B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 章國鋒;鮑虎軍;黃昭陽;周晗;周曉巍;李鴻升
• 申請（專利權）人: 浙江商湯科技開發有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/70;G06V10/74;G06T17/00
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 何倚雯

本申請公開了一種視覺定位方法及相關裝置、設備，其中，視覺定位方法包括：獲取對預設場景拍攝到的待定位圖像；對待定位圖像進行地標檢測，得到待定位圖像中目標地標點；其中，目標地標點為預設場景的若干地標點中的至少一個，若干地標點是從預設場景的場景地圖中選擇得到的，場景地圖是對預設場景進行三維建模得到的，且若干地標點分別位于場景地圖各個子區域的預設位置處；基于目標地標點在待定位圖像中的第一位置信息和目標地標點在場景地圖中的第二位置信息，得到待定位圖像的位姿參數。上述方案，能夠提高視覺定位的準確性和魯棒性。

技術領域

本申請涉及計算機視覺技術領域，特別是涉及一種視覺定位方法及相關裝置、設備。

背景技術

隨著電子信息技術的發展，增強現實、混合現實等應用等到了越來越廣泛的應用。諸如此類應用通常要求較優的視覺定位準確性和魯棒性，以達到更好的視覺效果，增強用戶體驗。

目前，通常采用基于場景坐標回歸方式或者基于特征的視覺定位框架，來構建密集的2D-3D點對，以基于稠密點對恢復相機位姿。然而，這些場景坐標中通常包含大量離群點，特別是在存在移動物體、照明變化等動態環境下，離群點比例也會隨之提高，從而無法穩定且可靠地進行視覺定位。有鑒于此，如何提高視覺定位的準確性和魯棒性成為亟待解決的問題。

發明內容

本申請提供一種視覺定位方法及相關裝置、設備。

本申請第一方面提供了一種視覺定位方法，包括：獲取對預設場景拍攝到的待定位圖像；對待定位圖像進行地標檢測，得到待定位圖像中目標地標點；其中，目標地標點為預設場景的若干地標點中的至少一個，若干地標點是從預設場景的場景地圖中選擇得到的，場景地圖是對預設場景進行三維建模得到的，且若干地標點分別位于場景地圖各個子區域的預設位置處；基于目標地標點在待定位圖像中的第一位置信息和目標地標點在場景地圖中的第二位置信息，得到待定位圖像的位姿參數。

因此，通過獲取對預設場景拍攝到的待定位圖像，并對待定位圖像進行地標檢測，得到待定位圖像中目標地標點，且目標地標點為預設場景的若干地標點中的至少一個，若干地標點是從預設場景的場景地圖中選擇得到的，場景地圖是對預設場景進行三維建模得到的，若干地標點分別位于場景地圖各個子區域的預設位置處，在此基礎上，再基于目標地標點在待定位圖像中的第一位置信息和目標地標點在場景地圖中的第二位置信息，得到待定位圖像的位姿參數，由于若干地標點分別位于場景地圖各個子區域的預設位置處，故地標點并非雜亂無章，其具有分布均勻的特性，而在待定位圖像中所檢測到的目標地標點為若干地標點中的至少一個，且后續視覺定位過程中，僅僅依賴于目標地標點在待定位圖像中的二維位置和在場景地圖中的三維位置所組成的點對，而不再依賴于其他與地標點無關的點對，從而能夠在減少點對數量的同時提高點對質量，進而能夠有利于提高視覺定位的準確性和魯棒性。

其中，若干子區域是對場景地圖的表面進行劃分得到的；和/或，預設位置包括子區域的中心位置；和/或，各個子區域之間的面積差異低于第一閾值。

因此，若干子區域是對場景地圖的表面進行劃分得到的，由于待定位圖像通常是對預設場景表面的成像，故能夠有利于提高在待定位圖像中所檢測的目標地標點的準確性；而將預設位置設置為包括子區域的中心位置，能夠有利于進一步提高地標點分布均勻的特性，有利于提升點對質量；此外，將各個子區域之間的面積差異設置為低于第一閾值，能夠有利于進一步提高地標點分布均勻的特性，有利于提升點對質量。

其中，對待定位圖像進行地標檢測，得到待定位圖像中目標地標點，包括：利用地標檢測模型處理待定位圖像，預測得到第一地標預測圖像和第一方向預測圖像；對第一地標預測圖像和第一方向預測圖像進行分析，得到目標地標點；其中，第一地標預測圖像包括待定位圖像中像素點的預測地標屬性，第一方向預測圖像包括待定位圖像中像素點的第一方向屬性，預測地標屬性用于標識像素點對應的地標點，第一方向屬性包括指向地標投影的第一方向信息，地標投影表示像素點對應的地標點在待定位圖像中的投影位置。