[發明專利]一種結合深度學習和幾何優化的位姿計算方法和系統

有效

• 申請號: 201911376183.6
• 申請日: 2019-12-27
• 公開（公告）號: CN111145255B
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 張蘭清;李宏
• 申請（專利權）人: 浙江省北大信息技術高等研究院;杭州未名信科科技有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/50
• 代理公司: 浙江英普律師事務所 33238
• 代理人: 毛愛東

本發明公開了一種結合深度學習和幾何優化的位姿計算方法，包含位姿估計模塊PoseNet和深度估計模塊DepthNet,把基于深度學習的位姿估計方法和基于幾何約束的優化策略集成到一個視覺里程計框架中,計算光度誤差、特征點重投影誤差、相鄰幀間約束和一段連續幀構成的局部地圖內的約束,能夠進行實時而準確的位姿估計。

技術領域

本發明屬于計算機視覺領域的視覺里程計領域，特別是一種結合深度學習和幾何優化的位姿計算方法和系統。

背景技術

基于視覺的位姿估計(Visual Odometry，以下簡稱VO)能夠讓機器人在未知的環境中僅僅依靠攝像機采集的數據進行精準定位。過去的十年時間,基于特征點法和基于光度誤差法的VO框架有了巨大的進展,傳統的基于幾何方法的VO在大多數情況下可以進行非常魯邦的定位，但在特征點缺失或者攝像機曝光不穩定的時候，位姿估計的準確度會發生驟降甚至失效。而近年來由于深度學習的發展和數據量的爆炸式增長，基于學習的VO越來越引起人們的關注。其主要有兩個優點：一方面參數編碼到深度網絡中，不需要像基于幾何法的VO(例如,ORB-SLAM)一樣硬編碼很多參數，另一方面由于數據驅動，此類方法在真實的環境中(例如：雨天，夜晚，模糊)表現地更加魯邦。

為了降低標注數據的成本，基于無監督學習方法被提出并得到了越來越多的關注。該類方法分別使用兩個網絡(PoseNet和DispNet)同時可以估計相機的位姿變化和深度圖。兩個網絡不共享參數，但通過圖像的重建損失函數，相互監督與促進。

目前該類方法借助雙目的視頻訓練數據，可以在單目深度估計任務上得到極佳的準確度，但是在單目位姿估計任務上遠遠落后于基于幾何方法的VO。原因在于，神經網絡目前在數學嚴格證明的3D幾何任務上的可解釋性與泛化能力偏弱；該類方法目前僅能夠估計兩幀之間的位姿變化，忽略了時序上多幀之間的依賴關系和局部地圖上的幾何約束關系，在長時間的誤差累積之后，位姿估計的結果會相對真實值發生嚴重的偏離。

發明內容

本發明的工作原理為：把基于深度學習的位姿估計方法和基于幾何約束的優化策略集成到一個視覺里程計框架中，此框架能夠進行實時而準確的位姿估計，同時計算光度誤差、特征點重投影誤差、相鄰幀間約束和一段連續幀構成的局部地圖內的約束，因此可以大大提高模型的位姿估計精度。

為了解決上述問題，本發明提出一種結合深度學習和幾何優化的位姿計算方法和系統。

本發明所采用的技術方案是：

一種結合深度學習和幾何優化的位姿計算方法，包含位姿估計模塊PoseNet和深度估計模塊DepthNet，包括以下步驟：

S1，預備單目視頻序列,將單目視頻序列分段，預訓練位姿估計模塊PoseNet和深度估計模塊DepthNet；

S2，將S1分段后的視頻段輸入位姿估計模塊得到連續相鄰幀之間的位姿變化；將S1分段后的視頻段輸入深度估計模塊得到每幀的深度估計；

S3，計算S1分段后的視頻段中的每幀圖像的像素梯度，選擇邊緣像素，與S2中的深度估計配和，將邊緣像素中的像素點反投影到三維空間中，得到邊緣像素路標點，然后將該路標點向后一幀投影，計算邊緣像素路標點在相鄰幀之間的光度誤差，構建光度非線性函數，輸入S2中的位姿變化，進行優化，輸出位姿變化量；提取S1分段后的視頻段中每幀的特征點，計算特征點的描述子，通過描述子之間的距離，得到相鄰幀上特征點之間的匹配關系，通過匹配關系得到路標點，計算該路標點對應的特征點集，然后通過三角化函數計算路標點的坐標；

S4，將S3的路標點向視頻段每幀投影，計算重投影誤差，構建幾何非線性函數，輸入S3中的位姿變化量，進行優化，輸出優化后位姿；

S5，將視頻段的優化后位姿串聯得到最終位姿。