[發明專利]基于數字影像地圖與特征點跟蹤的視覺位姿實時估計方法

有效

• 申請號: 202010763607.0
• 申請日: 2020-07-31
• 公開（公告）號: CN111915651B
• 公開（公告）日: 2023-09-12
• 發明（設計）人: 劉貴喜;蔡一凡;吳成一;馬建平;賈耀;張鵬飛;高玉舂
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/269;G06T7/73;G06V20/17;G06V10/46;G06V10/62;G06V10/75;G06V10/80
• 代理公司: 西安吉順和知識產權代理有限公司 61238
• 代理人: 吳倩倩

1.基于數字影像地圖與特征點跟蹤的視覺位姿實時估計方法,其特征在于，初始幀進行特征點檢測并與超大數字影像地圖進行匹配，確定無人機影像與超大數字影像地圖匹配點對；后續幀對成功匹配的特征點進行光流逐幀跟蹤，避免了特征點檢測和匹配過程,直接確定了匹配點在后續幀的位置，提高了匹配速度，能逐幀進行高精度的視覺實時位姿估計，至少包括如下步驟：

步驟101：獲取先驗數字影像地圖；

步驟102：對數字影像地圖進行SURF特征點檢測，將特征按照區域塊大小進行保存，建立先驗特征數據庫；

步驟103：獲得無人機拍攝地面影像；

步驟104：對步驟103獲取的無人機拍攝地面影像初始幀進行SURF特征點檢測；

步驟105：將步驟104檢測的特征點與步驟102建立的先驗特征數據庫進行初始幀匹配得到成功匹配的無人機拍攝地面影像中2D特征點p_c(x_c,y_c)和先驗特征數據庫中世界坐標系下3D點p_w(x_w,y_w,z_w)；

步驟106：將步驟105得到成功匹配的特征點對p_c(x_c,y_c)和p_w(x_w,y_w,z_w)送入PnP(Perspective-n-Point)視覺位姿估計模型進行視覺位姿估計，得到無人機的初始位姿；

步驟107：建立光流跟蹤器，將步驟103中獲取的無人機拍攝地面影像后續幀和步驟105或者步驟110重定位處理中獲得的成功匹配點對送入光流跟蹤器進行光流跟蹤得到跟蹤成功點對p'_c(x_c,y_c)和p'_w(x_w,y_w,z_w)；

步驟108：進行成功跟蹤特征點數量判據，若成功跟蹤特征點數量少于閾值δ_n，則進行步驟110，當特征點數量足夠時進行步驟109；

步驟109：將跟蹤成功的特征點對送入PnP模型，得到本幀視覺估計結果，將視覺估計結果進行視覺估計誤差判據，若視覺位置估計誤差大于閾值δ_m時，進行步驟110，否則進行步驟111；通過步驟107-步驟109過程，幀定位時間由以往的5000ms降低到8ms以內；

步驟110：將本幀進行重定位處理，輸出重定位處理結果；

步驟111：將步驟106、步驟109、步驟110得到的視覺位姿估計結果進行輸出，得到每幀的無人機拍攝地面影像視覺位姿估計結果；

所述的步驟107-步驟108當成功跟蹤特征點數少于25-30個特征點數閾值δ_n時，需要進行重定位處理，具體步驟包括：

步驟201：構造光流跟蹤器，將無人機拍攝地面影像后續幀和初始幀/重定位幀匹配成功點對p_c(x_c,y_c)和p_w(x_w,y_w,z_w)送入成功構建的特征點光流跟蹤器，通過對特征點對的光流跟蹤，免去特征檢測和匹配過程，一步得到本幀成功匹配的特征點對p'_c(x_c,y_c)和p'_w(x_w,y_w,z_w)；

步驟202：對跟蹤成功的匹配點對按歐氏距離的大小，從小到大進行特征點排序；

步驟203：使用隨機采樣一致性原則篩選出正確匹配優質的特征點；

步驟204：統計跟蹤成功的特征點p'_c(x_c,y_c)的數量，若成功跟蹤的點數小于閾值δn，δn選擇25到30特征點數，不滿足位姿估計要求的點數，則將其設為重定位幀，進行重定位處理；

步驟205：將成功跟蹤的特征點對p'_c(x_c,y_c)和p'_w(x_w,y_w,z_w)送入PnP模型中，進行視覺位姿估計求解；

步驟206：得到本幀根據視覺位姿估計結果。