[發明專利]一種基于跨模態知識蒸餾的深度特權視覺里程計方法

在審

• 申請號: 202210413969.6
• 申請日: 2022-04-14
• 公開（公告）號: CN114743105A
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 李斌;龔小謹
• 申請（專利權）人: 浙江大學
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/82;G06V10/774;G06V10/764;G06V10/80;G06K9/62;G06N3/04;G06N3/08;G06T9/00
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

1.一種基于跨模態知識蒸餾的深度特權單目視覺里程計方法，其特征在于，方法包括：

(1)使用彩色相機和激光雷達聯合采集場景的彩色圖像和三維點云，構建視覺-激光里程計數據集；

(2)將視覺-激光里程計數據集輸入視覺-激光里程計網絡VLO和單目視覺里程計網絡VO中使用優化算法分別進行訓練；

(3)通過跨模態知識蒸餾模塊來利用視覺-激光里程計網絡VLO進一步對單目視覺里程計網絡VO進行再次訓練；

(4)訓練結束后，將待測的連續時刻的彩色圖像序列分組后，再分別輸入訓練后的單目視覺里程計網絡VO，輸出得到每組各自的目標幀彩色圖像I_t對應的致密深度圖以及幀間位姿其中為平移向量，表示歐拉角向量；最后將各組的幀間位姿累乘獲得全局位姿，全局位姿作為待測的連續時刻的彩色圖像序列的完整運動軌跡，實現了單目視覺里程計的處理。

2.根據權利要求1所述的基于跨模態知識蒸餾的深度特權單目視覺里程計方法，其特征在于：所述步驟(1)具體為：針對同一場景，由彩色相機采集連續時刻下的彩色圖像序列，由激光雷達采集同樣連續時刻下和彩色圖像序列對應的三維點云序列，再將三維點云序列中的三維點云投影到彩色相機的相機成像平面得到稀疏深度圖，由彩色圖像序列及其對應的稀疏深度圖序列組成視覺-激光里程計數據集。

3.根據權利要求2所述的基于跨模態知識蒸餾的深度特權單目視覺里程計方法，其特征在于：所述的彩色圖像序列中的彩色圖像數量和稀疏深度圖序列中的稀疏深度圖數量均相同，且均為奇數；將彩色圖像序列和稀疏深度圖序列中位于中間的一幀作為目標幀，其余幀均為參考幀。

4.根據權利要求1所述的基于跨模態知識蒸餾的深度特權單目視覺里程計方法，其特征在于：

所述視覺-激光里程計網絡VLO的網絡結構包括視覺特征編碼器、深度特征編碼器、第一深度解碼器和位姿預測器；視覺特征編碼器和深度特征編碼器分別對彩色圖像序列及其對應的稀疏深度圖序列處理，從中提取視覺編碼器特征和深度編碼器特征，視覺編碼器特征和深度編碼器特征經過局部融合后得到多模態編碼特征H^vlo，將視覺編碼器特征、深度編碼器特征、多模態編碼特征H^vlo輸入到第一深度解碼器得到四個不同尺度的多模態致密深度圖將多模態編碼特征H^vlo輸入到位姿預測器得到多模態預測幀間位姿i∈{1，2，3，4}，其中i表示致密深度圖的尺度階數，為多模態預測平移向量，表示多模態預測歐拉角向量。