[發明專利]跨模態檢索的視覺位置識別方法、存儲介質和電子設備

在審

• 申請號: 202210993635.0
• 申請日: 2022-08-18
• 公開（公告）號: CN115457125A
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 黃銳;蘇松志
• 申請（專利權）人: 廈門大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06V10/42;G06V10/82;G06N3/04;G06N3/08;G06F16/29;G06F16/587
• 代理公司: 廈門原創專利事務所(普通合伙) 35101
• 代理人: 閆英敏

本發明提供了一種跨模態檢索的視覺位置識別方法、存儲介質和電子設備，所述方法包括：以離線方式一次性構建3D點云地圖數據庫，將數據庫中密集的點云表示轉換為輕量級結構形式的點云，并利用注意力機制為輕量級點云融合上下文信息，以得到3D點云地圖數據庫的全局特征；以在線方式實時獲得待查詢圖像，通過輕量型圖像骨干網絡提取待查詢的2D圖像的全局特征；計算3D點云地圖數據庫的全局特征和2D圖像的全局特征的歐氏距離，并建立兩者的對應關系。而后可以通過2D待查詢圖像的特征去實時檢索以輕量級結構表示的3D點云數據庫特征，以獲得與待查詢圖像處于同一地理位置的點云圖，能夠快速地提取查詢圖像的特征信息。

技術領域

本發明涉及深度學習領域，具體涉及一種跨模態檢索的視覺位置識別方法、存儲介質和電子設備。

背景技術

近年來，深度卷積神經網絡(Deep Convolutional Neural Networks)的發展極大促進了計算機視覺(Computer Vision)領域相關算法的進步。視覺位置識別(VisualPlaceRecognition)作為計算機視覺領域的研究分支之一，其主要任務是對當前視覺位置進行定位，識別出當前處于地圖數據庫中哪個位置。視覺位置識別任務是即時定位與建圖(Simultaneous Localization and Mapping)系統的重要組件，用于解決回環檢測(Loop-closure Detection)問題。通常在弱GPS環境下進行定位任務主要依賴于即時定位與建圖系統，通過設備構建的地圖數據庫定位設備當前位置，且通過不斷地定位來完善地圖數據庫，在無人駕駛、機器人和增強現實等應用中具有突出貢獻。而回環檢測用于判斷是否曾經到達過當前位置，以檢測回環。

通常設備上的傳感器獲取的位置信息分為兩種主流數據類型：2D圖像和3D點云。2D圖像由相機直接拍攝而成，3D點云由激光雷達掃描場景生成，圖像極易受光照、天氣和季節影響，易造成識別精度下降，而激光雷達安裝昂貴且難以維護，實際應用中成本高昂。目前，采用的視覺位置識別方法主要包括基于2D圖像的視覺位置識別方法和基于3D點云的視覺位置識別方法。

基于2D圖像的視覺位置識別方法通過相機拍攝生成查詢圖像和數據庫圖像，使用經典的圖像骨干網絡提取查詢圖像和數據庫圖像的特征，通過局部聚合特征向量網絡層(Net Vector of Locally Aggregated Descriptors)將提取的特征聚合成全局特征，利用簡單的歐幾里得距離在數據庫圖像中檢索出與查詢圖像相匹配的數據庫圖像。車載相機安裝簡單，成本較低，且易于維護。

基于3D點云的視覺位置識別方法通過車載激光雷達掃描生成查詢點云和數據庫點云，使用經典的點云骨干網絡提取查詢點云和數據庫點云的特征，同樣通過局部聚合特征向量網絡層(Net Vector of Locally Aggregated Descriptors)將提取的特征聚合成全局特征，利用全連接層將全局特征的維度降低，進行特征向量壓縮，以達到高效檢索的目的，最后使用歐幾里得距離在數據庫點云中檢索出與查詢點云相匹配的點云圖。車載激光雷達掃描場景，不受光線、天氣和季節影響，即便在夜晚也能完整地掃描出場景點云圖，確保位置識別的高準確率。

然而，基于2D圖像的視覺位置識別方法容易受光線影響，在夜晚的識別準確率非常低，且若是跨季節進行位置識別，識別精度也易受影響。基于3D點云的視覺位置識別方法雖然能夠很好地解決場景外觀變化帶來的挑戰，但是安裝昂貴的激光雷達設備難以實現，且難以維護。

發明內容

為此，需要提供一種跨模態檢索的視覺位置識別的技術方案，解決現有技術涉及的視覺位置識別的方法識別精度差、維護成本高等問題。

為實現上述目的，在第一方面，本發明提供了一種跨模態檢索的視覺位置識別方法，所述方法包括以下步驟：

S1：在以離線方式構建3D點云地圖數據庫時，將密集的點云壓縮成第一輕量級結構點云；

S2：將所述第一輕量級結構點云輸入到旋轉學習網絡，生成第二輕量級結構點云；