[發明專利]一種無監督位姿與深度計算方法及系統

在審

• 申請號: 201911196111.3
• 申請日: 2019-11-29
• 公開（公告）號: CN111028282A
• 公開（公告）日: 2020-04-17
• 發明（設計）人: 蔡行;張蘭清;李承遠;王璐瑤;李宏
• 申請（專利權）人: 浙江省北大信息技術高等研究院;杭州未名信科科技有限公司
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06T7/73;G06N3/04;G06N3/08
• 代理公司: 浙江英普律師事務所 33238
• 代理人: 毛愛東

本發明公開了一種無監督位姿與深度計算方法及系統，其中主要采用以下模塊：位姿預測網絡模型TNet、深度估計網絡模型DMNet、視覺重建模型V和誤差損失函數模塊；計算前向運動相對位姿和后向運動相對位姿，計算圖像的深度估計結果和圖像對應深度，通過重建誤差、平滑誤差和孿生一致性誤差求和得到損失函數，進行迭代更新，直到損失函數收斂，最后根據訓練好的模型Tnet和模型DNet計算出相機相對位姿和預測深度圖。

技術領域

本發明屬于SLAM(Simultaneous Localization And Mapping)和SfM(Structurefrom Motion)領域，特別是一種無監督位姿與深度計算方法及系統。

背景技術

近年來,基于深度學習方法的單目稠密深度估計和視覺里程計VO(VisualOdometry)的算法發展迅速，它們也是SfM和SLAM系統的關鍵模塊。已有研究表明，基于監督深度學習的VO和深度估計在許多具有挑戰性的環境中都取得了良好的性能，并緩解了尺度漂移等性能下降問題。然而，在實際應用中要訓練這些監督模型，獲得足夠的具有真實標記的數據是困難和昂貴的。相比之下，無監督的方法擁有只需要無標簽的視頻序列的巨大優勢。

深度和姿態估計的深度無監督模型通常采用兩個模塊，其中一個模塊預測深度圖，另一個模塊估計相機相對位姿。再使用估計的深度圖和姿態將圖像從源圖像投影變換到目標圖像后，利用光度誤差損失作為優化目標，以端到端方式訓練這些模型。然而現有的技術很少考慮到如下關鍵問題：VO的時序性，并且忽略了無人駕駛數據集只有單一運動方向的缺點，模型只能處理單方向的運動，沒有利用前向后向的運動約束。現有模型沒有考慮模型的復雜性，參數量大，很難適用于VO的實際應用場景。

發明內容

本發明的工作原理為：利用Twin位姿網絡模型，利用ConvLSTM學習數據的時序信息，同時改進深度估計網絡，提出DispMNet(Disparity Mobile Net)，使位姿和深度估計精度均達到較高的水平。

為了解決上述問題，本發明提出一種無監督絕對尺度計算方法及系統。

本發明所采用的技術方案是：

一種無監督位姿與深度計算方法，包含位姿網絡模型TNet、深度網絡模型DNet、圖像視覺重建模型V和損失函數，包括以下步驟：

S1，預備單目視頻數據集；

S2，從步驟S1中的單目視頻數據集中抽取連續圖像，將相鄰圖像依次輸入位姿網絡模型TNet，得到圖像間共同的特征F，特征F輸入位姿網絡模型TNet，分別得到前向運動相對位姿和后向運動相對位姿；

S3，將步驟S2中的連續圖像輸入深度網絡模型DNet，通過前向傳播得到圖像的深度估計結果和圖像對應深度；

S4，將S2中的連續圖像、前向運動相對位姿、后向運動相對位姿和圖像對應深度，輸入圖像視覺重建模型V，得到扭曲圖像；

S5，計算扭曲圖像與S2中的連續圖像間的重建誤差，計算深度估計結果的平滑誤差，計算孿生一致性誤差；

S6，通過重建誤差、平滑誤差和孿生一致性誤差求和得到損失函數，進行反向傳播，進行迭代更新，直到損失函數收斂；

S7，進行預測，利用位姿網絡模型Tnet和深度網絡模型DNet，分別前向傳播，計算出相機相對位姿和預測深度圖。

采用全新的孿生模塊，同時處理視頻序列的前向和后向運動，同時在反轉一致性約束下，利用時序一致性誤差項，約束前向后向的運動，極大提高位姿估計準確性；采用基于MobileNet結構的DispMNet模型，減少了37％的參數量，同時提高了模型的深度估計準確率。

進一步的，所述步驟S5中扭曲圖像與S2中的連續圖像間重建誤差Lreprojection的計算公式為：