[發(fā)明專利]一種基于語義先驗的視覺里程計方法

有效

• 申請?zhí)枺?/td>: 202110137828.1
• 申請日: 2021-02-01
• 公開（公告）號: CN112819853B
• 公開（公告）日: 2023-07-25
• 發(fā)明（設計）人: 續(xù)欣瑩;楊斌超;韓曉明;程蘭;張喆;馮洲
• 申請（專利權）人: 太原理工大學
• 主分類號: G06T7/207
• 分類號: G06T7/207
• 代理公司: 太原市科瑞達專利代理有限公司 14101
• 代理人: 王思俊

一種基于語義先驗的視覺里程計方法，包括如下步驟：S1、采用語義先驗信息構造語義先驗模塊，并在語義先驗模塊的基礎上構建卷積神經網絡并訓練；S2、通過圖像采集模塊，得到相應的彩色圖像序列；S3、將圖像序列的圖像依次輸入語義先驗模塊，計算得到相應的語義概率先驗信息；S4、將圖像序列的圖像依次輸入深度圖估計模塊，計算得到相應的深度圖；S5、向相機位姿估計模塊輸入相鄰的三張圖像，對圖像特征鏡像提取，利用提取到的特征實現相機位姿的估計；S6、將相機位姿估計模塊得到的相機位姿的估計輸入位姿處理模塊，產生相機運動軌跡；本發(fā)明通過單目相機圖像的幀間變化分析相機的位姿，分析實現動態(tài)物體語義分割并降低了復雜度。

技術領域

本發(fā)明屬于本發(fā)明屬于移動機器人自主定位領域，具體涉及一種基于語義先驗的視覺里程計方法。

背景技術

視覺里程計技術是移動機器人自主定位的重要課題，是視覺同時定位與地圖構建中的前端技術，也是視覺同時定位與地圖構建中最重要的組成部分。視覺里程計通過分析相關圖像序列，得到相機幀間位姿估計，進而獲取局部地圖。在地圖構建、自動駕駛、虛擬現實和三維重建等領域有著非常廣泛的應用。由于受到復雜噪聲、動態(tài)物體、交疊和遮擋等問題影響，具有很強魯棒性的視覺里程計依然極具挑戰(zhàn)。

傳統(tǒng)的視覺里程計研究了數十年，并提出多種算法，其主要是解決如何準確估計相機位姿的問題。在特征提取上，稀疏特征提取相對于稠密特征提取通常會有著不錯的數據處理速度，如基于SIFT特征和基于ORB特征等。通過特征點的匹配實現幀間位姿估計和回環(huán)檢測，都已經取得了不錯的成果，但其依賴人工設計的特征點、不準確的系統(tǒng)建模、環(huán)境動力約束復雜等不足導致其在現實使用中，尤其是紋理不明顯區(qū)域、運動的動態(tài)目標、光度變化等的環(huán)境條件下依然存在較多挑戰(zhàn)。與利用物理模型或幾何理論創(chuàng)建人工設計的視覺里程計算法不同，基于深度學習的解決方案提供了一種以數據驅動的方式解決問題的替代方案，并且在基于單目圖像預測位姿和深度等信息取得了積極進展。相對于基于雷達、雙目相機或融合傳感器的視覺里程計，現有的基于單目相機的視覺里程計相對魯棒性較差，但是在低成本和魯棒性上有著無法替代的優(yōu)勢。

發(fā)明內容

本發(fā)明所要解決的技術問題在于針對上述現有技術中的不足，提供一種基于語義先驗的視覺里程計方法，其設計解決當前視覺里程計在紋理不明顯區(qū)域、運動的動態(tài)目標等的環(huán)境條件下依然存在較多挑戰(zhàn)的問題，新穎合理，便于推廣使用。

為解決上述技術問題，本發(fā)明采用的技術方案是構建一種卷積神經網絡模型，實現基于語義先驗的視覺里程計計算。該模型對當前圖像幀進行語義分析，得到像素級分類下的語義概率圖，利用穩(wěn)定可靠的語義概率圖作為語義先驗信息實現對相機位姿和深度圖的精確估計。該模型在公開的數據集上進行訓練、驗證和測試，使用訓練得到的最終模型在測試集上進行實驗，輸出對應的相機位姿和深度圖，最終得出運動軌跡。

進一步地，所述卷積神經網絡由以下五個模塊構成：

1)圖像采集模塊：使用單目相機采集視頻，并按照10幀的采集速率將視頻歸一化為128×416像素大小的圖像序列；

2)深度圖估計模塊：采用編碼解碼結構，在編碼器部分使用7層卷積層；解碼器部分使用7層反卷積層，用于估計得到輸入圖像對應的深度圖；

3)相機位姿估計模塊：采用一個具有5層卷積層和29個殘差模塊的編碼器實現，用于估計得到輸入的相鄰兩幀圖像間的相對位姿變換矩陣；

4)語義先驗模塊：采用編碼解碼結構，在編碼器部分使用ResNet50作為主干網絡；解碼器部分使用8個卷積層、2個上采樣層和1個池化層，用于對當前圖像幀進行分析，產生語義概率圖，作為先驗信息送入深度圖估計模塊中；

5)位姿處理模塊：對相機位姿估計模塊產生的相對位姿變換矩陣進行累加，以產生相機運動軌跡。

進一步地，本方法具體包括以下步驟：