[發明專利]基于并行搜索2D-3D匹配的視覺定位方法、系統、裝置

在審

• 申請號: 202010419475.X
• 申請日: 2020-05-18
• 公開（公告）號: CN111583332A
• 公開（公告）日: 2020-08-25
• 發明（設計）人: 張朋舉;吳毅紅
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06T7/70
• 分類號: G06T7/70;G06F16/583;G06N3/04
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

本發明屬于定位技術領域，具體涉及了基于并行搜索2D?3D匹配的視覺定位方法、系統、裝置，旨在解決現有視覺定位方法中無法在光照變化劇烈條件和大視角變化條件都具有高精度和高魯棒性的問題。本發明包括：先提取數據庫場景圖像中的3D點及其描述子和查詢圖像的2D關鍵點的描述子，再建立場景圖像中3D點和查詢圖像中2D關鍵點的匹配關系，最后根據場景圖像3D點和真實匹配最近鄰描述子的對應關系通過RANSAC和PnP算法計算出查詢圖像的相機位姿完成定位。本發明提高了在大視角和光照變化下的視覺定位精度和魯棒性。

技術領域

本發明屬于定位技術領域，具體涉及了基于并行搜索2D-3D匹配的視覺定位方法、系統、裝置。

背景技術

單幅圖像的視覺定位的任務是在一個已知三維模型的場景里估計出查詢照片的6-DoF相機位姿，在增強現實、虛擬現實、自動駕駛等領域有著廣泛的應用。

單幅圖像定位方法可以分為端到端的方法和非端到端的方法。非端到端的方法又可分為基于圖像檢索的方法和基于2D-3D直接匹配的方法。

端到端的方法通過訓練網絡模型直接回歸相機的位姿。端到端的方法可以借助深度學習以及GPU的優勢實現快速定位，但是泛化性能較差且在大范圍場景下精度較差。

基于圖像檢索的方法首先在數據庫里查找與查詢照片相似的照片，然后只在那些檢索到的圖像能看得到的3D點范圍內搜索與2D查詢特征匹配的3D點。傳統方法通常要借助詞袋模型來搜索相似照片。DenseVLAD通過合成新的視角圖像來檢索與查詢圖像相似的圖像。近年來出現了一些基于深度學習搜索相似圖像的方法，如NetVLAD通過對整幅圖像提取特征描述來檢索相似圖像。

基于2D-3D匹配的方法首先將數據庫中的3D點通過詞匯樹等方法進行聚類，然后建立查詢圖片中特征點與數據庫中3D點的對應關系，最后通過RANSAC和PnP算法估算相機位姿。Noah Snavely等人利用一些共視信息判斷哪一部分3D點需要優先搜索。CSL方法利用額外的信息，如IMU等來輔助視覺定位。吳毅紅等人利用隨機樹結構索引數據庫里面的3D點，能夠顯著加快相機定位的速度。

每種方法都有自己的優點?？傮w來講，基于2D-3D直接匹配的方法在大視角變化的條件下精度較高，但是在光照變化劇烈的條件下魯棒性不夠強；基于圖像檢索的方法在光照變化劇烈的條件下魯棒性較強但在大視角變化條件下精度較低?；?D-3D直接匹配的定位方法能夠成功定位視角比較大的圖像，但是不能成功定位光照變化比較大的圖像?；趫D像檢索的定位方法能夠成功定位光照變化比較大的圖像，但是不但能定位視角變化比較大的圖像。

發明內容

為了解決現有技術中的上述問題，即基于2D-3D直接匹配的視覺定位方法在光照變化劇烈的條件下魯棒性不夠強，基于圖像檢索的視覺方法在大視角變化條件下精度較低的問題，本發明的第一方面提供了基于并行搜索2D-3D匹配的視覺定位方法，所述定位方法包括以下步驟：

步驟S10，根據數據庫中的多個場景圖像，通過預設的第一算法計算出場景3D點，并通過基于深度學習的描述子網絡CRBNet提取場景3D點的第一描述子和第二描述子；

所述第一描述子為所述場景圖像的二值描述子，所述第二描述子為所述場景圖像的實值描述子；

通過基于深度學習的描述子網絡CRBNet提取查詢圖像上2D關鍵點的查詢描述子；

所述查詢描述子包含第三描述子和第四描述子；

所述第三描述子為所述查詢圖像的二值描述子，所述第四描述子為所述查詢圖像的實值描述子；

步驟S20，根據場景3D點、第一描述子和第二描述子，與第三描述子和第四描述子的匹配關系查找第六描述子；