[發明專利]一種增強可靠性的單目視覺定位方法

有效

• 申請號: 202011522140.7
• 申請日: 2020-12-21
• 公開（公告）號: CN112489119B
• 公開（公告）日: 2023-01-31
• 發明（設計）人: 百曉;張鵬程;張亮;王欣;劉祥龍
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/80;G06N3/08;G06N3/04;G06V10/80;G06V10/82;G06V10/774
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗;鄧治平

本發明提出一種增強可靠性的單目視覺定位方法，包括以下步驟：(1)通過深度卷積神經網絡DCNN對輸入圖像提取特征圖；(2)提出一種多層融合的雙線性模型從特征圖中進行特征嵌入得到特征向量；(3)使用一個可靠性感知的姿態回歸層從特征向量中回歸輸入圖像的相機位置和朝向的預測值和不確定度。與現有技術相比，本發明具有預測結果可靠性更強，準確性更高等優點。

技術領域

本發明涉及視覺定位領域，提出了一種增強可靠性的單目視覺定位方法。

背景技術

視覺定位，又稱相機重定位，是指輸入一張圖片計算這個圖像對應相機6DoF(6Degree of Freedom)的相機姿態，因此，也被稱為相機姿態回歸或者相機姿態估計。在增強現實、自動駕駛、機器人等領域，由視覺傳感器的圖像獲得視覺傳感器在3D世界的位置是執行下一步任務(例如虛擬內容顯示、路徑規劃、人機交互等)的基礎。由于視覺傳感器成本低且應用廣泛，基于視覺的定位方法是重要的實用價值。

視覺定位問題在SLAM和Structure from Motion等系統領域有著很長的歷史。借助SLAM和Structure from Motion系統構建一個描繪場景的3D模型，給定一張圖像，提取它的局部特征與3D模型上的點云特征進行匹配(2D-3D匹配)，根據匹配關系求解PnP問題得到給定圖像在場景中的相機姿態。這類需要構建場景結構3D模型的方法被稱為基于結構的方法，由于采用多視幾何對場景進行精確建模，這類方法的定位精確最高。另一種無需建立3D模型的方法是基于檢索的方法，它通過一個地理位置圖像數據庫存儲場景圖像和對應的位置標簽，給定一張圖像使用圖像檢索技術識別數據庫中與給定圖像最相似的圖像，用檢索到的圖像的位置標簽近似給定圖像的位置。為了獲得更精確的位置信息，可以檢索多張圖像，用多張圖像的位置信息近似給定圖像的位置。基于檢索的視覺定位方法，又被稱為場景識別，通常用于大尺度場景的粗糙定位。而對于城市及的大尺度的視覺定位任務，通常是基于檢索方法和基于結構方法結合的方法，也就是首先檢索與輸入圖像最相似的N張圖像，使用基于結構的方法求出輸入圖像的對應的相機姿態。這種方法無疑進一步增加了存儲成本和計算負擔。

在深度學習廣泛應用之前，無論是基于結構的方法還是基于檢索的方法，通常都是使用手工特征，例如SIFT、ORB等。在深度學習興起之后，基于結構的方法使用的局部特征由手工提取的局部特征被CNN的局部特征取代，基于檢索的方法則使用CNN提取的全局圖像描述符，CNN強大的表征能力進一步提高了視覺定位的性能，尤其是在光照變化等場景下的定位精度，但是存儲成本、計算負擔與傳統方法相比沒有明顯優勢。另一方面，基于深度學習端到端的視覺定位成為了研究熱點，這種方法被稱為相機姿態回歸。相機姿態回歸方法使用CNN直接回歸6DoF的相機姿態，以PoseNet為代表的相機姿態回歸方法，在訓練時需要使用Structure from Motion等方法生成Ground Truth，而在推斷時只需要存儲網絡模型，無需額外的數據存儲，且由于CNN能夠并行運算，基于深度學習的方法具有占用空間小、推斷速度快的優勢。但是當前深度學習的視覺定位方法在模型層面存在不可靠的因素，例如使用平均池化和全連接層將CNN提取的特征圖進行特征嵌入,然而平均池化使得一些與視覺定位無關的視覺元素被聚合到特征向量中而產生不可靠的結果。因此當前的視覺定位方法存在定位精度低，定位結果不可靠的缺點。

發明內容

本發明解決的問題：克服現有技術的不足，提供一種增強可靠性的單目視覺定位方法，提高姿態回歸方法的精確度，實現相比現有方法更高精確度和更高可靠性的視覺定位，且具有傳感器成本低、運算速度快等優點。