[發明專利]視覺里程計方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010976437.4
• 申請日: 2020-09-16
• 公開（公告）號: CN112070175A
• 公開（公告）日: 2020-12-11
• 發明（設計）人: 徐朋飛;唐劍;袁濤
• 申請（專利權）人: 湖南國科微電子股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46;G06N3/04
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 鐘揚飛

本申請提供一種視覺里程計方法、裝置、電子設備及存儲介質，視覺里程計方法包括：獲取第一圖像和第二圖像，其中第二圖像為第一圖像的下一幀圖像；訓練目標檢測網絡，并利用目標檢測網絡在第二圖像上獲取多個特征樣本區域；根據獲取的多個特征樣本區域進行特征提取，獲取最優特征樣本；獲取在第一圖像中與最優特征樣本匹配的對應特征樣本；根據最優特征樣本和對應特征樣本，計算位姿數據。解決現有技術中的視覺里程計所需計算量過大、消耗資源的問題。

技術領域

本申請涉及視覺計算領域，具體而言，涉及一種視覺里程計方法、裝置、電子設備及存儲介質。

背景技術

SLAM(Simultaneous Localization and Mapping,同時定位與建圖)是自主導航領域中最關鍵的技術之一，它使自主導航系統能夠在一個未知環境中，依據傳感器捕獲的信息對周圍環境進行增量式的地圖構建，與此同時確定自身在環境中的位置。SLAM廣泛應用于自動駕駛汽車、自主導航機器人、虛擬現實以及增強現實等領域，是一項至關重要的技術。

視覺里程計(visual odometry，VO)是SLAM的前端，主要作用是根據拍攝的圖像估計相機的運動，進行實時定位。在進行特征點匹配求取位姿的過程中，對于整張圖進行特征點提取和匹配，然后進行BA(Bundle Adjustment，光束平差)優化，所需計算量過大，消耗資源。

發明內容

本申請實施例的目的在于提供一種視覺里程計方法、裝置、電子設備及存儲介質，用以解決現有技術中存在的技術問題。

第一方面，本申請實施例提供了一種視覺里程計方法，包括：獲取第一圖像和第二圖像，其中第二圖像為第一圖像的下一幀圖像；訓練目標檢測網絡，并利用目標檢測網絡在第二圖像上獲取多個特征樣本區域；根據獲取的多個特征樣本區域進行特征提取，獲取最優特征樣本；獲取在第一圖像中與最優特征樣本匹配的對應特征樣本；根據最優特征樣本和對應特征樣本，計算位姿數據。

于一實施例中，訓練目標檢測網絡包括：建立場景圖像數據集；并且，利用卷積神經網絡生成目標檢測網絡；以及，根據場景圖像數據集，訓練目標檢測網絡。

于一實施例中，利用目標檢測網絡在第二圖像上獲取多個特征樣本區域，包括：根據目標檢測網絡對第一圖像和第二圖像進行目標檢測和非極大值抑制處理，刪除移動特征樣本。

于一實施例中，根據獲取的多個特征樣本區域進行特征提取，獲取最優特征樣本，包括：根據多個特征樣本區域，于第二圖像中選定對應特征樣本區域的目標框；對目標框進行沖何框匹配，從多個目標框中篩選出置信值最高的目標框；根據置信值最高的目標框，確定最優特征樣本。

于一實施例中，根據最優特征樣本和對應特征樣本，計算位姿數據，包括：根據特征點，進行線性變換生成基礎矩陣；根據基礎矩陣和本質矩陣生成旋轉向量和平移向量；或者包括：獲取特征點在場景圖像數據集中的三維數據；根據三維數據利用N點透視生成位姿數據；或者包括：

根據特征樣本，通過LSD算法進行線段提取，對提取的線段通過LBD算法進行線段匹配，根據匹配的點及線段通過EPNPL算法生成所述位姿數據。

于一實施例中，方法還包括：將位姿數據作為初始迭代點數據，進行光束平差迭代；根據列文伯格-馬夸爾特法生成最優位姿數據。

第二方面，本申請實施例還提供了一種視覺里程計裝置，包括：圖像獲取模塊，用于獲取第一圖像和第二圖像，其中第二圖像為第一圖像的下一幀圖像；目標檢測模塊，用于訓練目標檢測網絡，并利用目標檢測網絡在第二圖像上獲取多個特征樣本區域；特征獲取模塊，用于根據獲取的多個特征樣本區域進行特征提取，獲取最優特征樣本；特征匹配模塊，用于獲取在第一圖像中與最優特征樣本匹配的對應特征樣本；位姿計算模塊，用于根據最優特征樣本和對應特征樣本，計算位姿數據。