[發明專利]位姿深度預測方法、視覺里程計方法、裝置、設備及介質

在審

• 申請號: 202010515086.7
• 申請日: 2020-06-08
• 公開（公告）號: CN111709984A
• 公開（公告）日: 2020-09-25
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 亮風臺（上海）信息科技有限公司
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06T7/73
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發明實施例公開了一種位姿深度預測方法、視覺里程計方法、裝置、設備及介質。該位姿深度預測方法包括：獲取關鍵圖像和當前圖像，將關鍵圖像和當前圖像輸入至已訓練完成的位姿深度預測模型中；根據位姿深度預測模型的輸出結果，得到當前圖像的目標位姿，或是，目標位姿和當前圖像的目標深度。本發明實施例的技術方案，通過特征級聯網絡將深度預測網絡和位姿預測網絡融合在一起，二者共享特征級聯網絡提取出的特征圖，由此節省了網絡參數，進而提高了目標位姿和目標深度的預測效率。同時，本發明實施例充分利用深度學習的語義信息和傳統的幾何測量來優化視覺里程計的結果。

技術領域

本發明實施例涉及圖像處理技術領域，尤其涉及一種位姿深度預測方法、視覺里程計方法、裝置、設備及介質。

背景技術

視覺里程計(Visual Odometry，VO)是根據相鄰的圖像信息預測出相機的幀間運動，其能夠令機器人感知周圍環境，并通過輕型相機確定自身位置，是即時定位與地圖構建(Simultaneous Localization and Mapping，SLAM)系統中的重要模塊，對于機器人、自動駕駛等眾多領域至關重要。

近年來，隨著VO技術的快速發展，一些經典的VO系統相繼出現，并且在大量場景下展現出良好性能。VO系統是基于定位和建圖這兩個相互依賴的過程實現的，建圖過程可以重建出場景的三維(three-dimensional，3D)結構，定位過程根據建圖過程獲得的深度信息可以估計出相機的位姿信息。但是，現有的VO系統在深度信息和位姿信息的預測效率方面有待改善。

發明內容

本發明實施例提供了一種位姿深度預測方法、視覺里程計方法、裝置、設備及介質，以實現位姿深度的快速預測的效果。

第一方面，本發明實施例提供了一種位姿深度預測方法，可以包括：

獲取關鍵圖像和當前圖像，將關鍵圖像和當前圖像輸入至已訓練完成的位姿深度預測模型中；根據位姿深度預測模型的輸出結果，得到當前圖像的目標位姿，或是，目標位姿和當前圖像的目標深度；其中，位姿深度預測模型包括深度預測網絡、位姿預測網絡、以及分別與深度預測網絡和位姿預測網絡連接的特征級聯網絡，特征級聯網絡用于從當前圖像中提取出具有至少兩個尺度信息的當前特征圖，且從關鍵圖像中提取出與當前特征圖對應的關鍵特征圖。

可選的，位姿預測網絡包括至少一個光束法平差模塊，在將關鍵圖像和當前圖像輸入至已訓練完成的位姿深度預測模型中之后，還可以包括：

經由特征級聯網絡提取出具有同一尺度信息的關鍵特征圖和當前特征圖，并將具有同一尺度信息的關鍵特征圖和當前特征圖作為一組特征匹配對；將每組特征匹配對分別輸入至與各組特征匹配對相應的光束法平差模塊中，根據各光束法平差模塊的輸出結果，得到目標位姿。

可選的，將每組特征匹配對分別輸入至與各組特征匹配對相應的光束法平差模塊中，可以包括：

獲取當前圖像的初始位姿，將特征匹配對和初始位姿，輸入至與特征匹配對相應的光束法平差模塊；經由與特征匹配對相應的光束法平差模塊將特征匹配對中的當前特征圖投影到關鍵特征圖上，得到投影特征圖；獲取關鍵圖像上的梯度點，根據初始位姿計算關鍵特征圖和投影特征圖在梯度點上的整體光度誤差；根據整體光度誤差計算位姿更新量，并根據初始位姿和位姿更新量，確定光束法平差模塊的輸出結果。

可選的，將每組特征匹配對分別輸入至與各組特征匹配對相應的光束法平差模塊中，根據各光束法平差模塊的輸出結果，得到目標位姿，可以包括：

從各組特征匹配對中篩選出當前特征匹配對和下一特征匹配對，下一特征匹配對的尺度信息大于當前特征匹配對的尺度信息；將當前特征匹配對輸入至與當前特征匹配對相應的當前光束法平差模塊中，獲取當前光束法平差模塊輸出的中間位姿；將下一特征匹配對和中間位姿，輸入至與下一特征匹配對相應的下一光束法平差模塊中，以得到目標位姿。