[發明專利]基于視覺和慣性里程定位的方法及裝置

在審

• 申請號: 202010543589.5
• 申請日: 2020-06-15
• 公開（公告）號: CN111797906A
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 韓天思;智向陽;聶瓊;申浩
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F17/16
• 代理公司: 北京曼威知識產權代理有限公司 11709
• 代理人: 方志煒

本說明書公開了一種基于視覺以及慣性里程定位的方法及裝置，根據圖像特征點匹配結果以及慣性測量數據，確定相鄰幀的預估位姿變化，并當該預估位姿變化小于預設值時，確定當前幀待解的狀態向量，基于目標函數確定該待解的狀態向量的變化矩陣、待解系數矩陣以及待解殘差矩陣的矩陣關系式，通過忽略該矩陣關系式高階項，求解環境點向量的變化量以及位姿向量的變化量，最后確定當前幀的位姿。在預估位姿變化較小的情況下，確定位姿變化是線性的且可根據上一幀的系數矩陣、狀態向量以及殘差推導得到，因此構造了系數矩陣和殘差的增量表達式，通過求解增量方程來得到全部狀態向量。無需解算當前幀的系數矩陣以及殘差，減少了解算復雜度，提高定位效率。

技術領域

本申請涉及計算機技術領域，尤其涉及一種基于視覺以及慣性里程定位的方法以及裝置。

背景技術

無源定位技術是指終端在不依賴其他定位設備的情況下，根據自身采集的數據確定自身位置的方法。其中，其他定位設備通常是指定位衛星，例如，全球定位系統的衛星。目前，無源定位技術中一種主要的方案是基于視覺以及慣性里程計(Visual-InertialOdometry，VIO)進行定位，通常稱為視覺-慣性里程計定位方法。

在現有技術中，通常基于包含前后端設備的系統實現視覺-慣性里程計定位方法。其中，前端是需要定位的設備，前端中可設置有采集圖像數據的圖像傳感器以及采集慣性數據的慣性測量單元(Inertial measurement unit，IMU)，并將采集的數據進行預處理后發送至后端。后端根據圖像預處理的結果以及IMU預處理的結果，進行多源信息融合，計算出前端的位姿。并且，由于位姿解算通常較為復雜因此后端通常為服務器。

其中，計算出前端的位姿常用的一種方法是利用非線性優化方法，根據多源信息解算最優解，并根據解算出的解確定前端位姿。通常來說，需要根據歷史上解算出的各幀對應的狀態向量，確定各相鄰幀之間的系數矩陣和殘差，再根據目標函數進行計算，確定當前幀的狀態向量。

但是，由于狀態向量通常包含了圖像特征信息、IMU數據信息、環境特征等信息，因此根據系數矩陣和殘差進行計算狀態向量非常復雜，導致服務器需要較為強大的算力才能滿足需求。而若減少參與計算的幀，則會導致定位精度下降。

發明內容

本說明書實施例提供的基于視覺以及慣性里程定位的方法及裝置，用于部分解決現有技術中存在的問題。

本說明書實施例采用下述技術方案：

本說明書提供的基于視覺以及慣性里程定位的方法，包括：

獲取當前幀的圖像以及慣性測量數據；

確定所述當前幀的圖像與上一幀的圖像的圖像特征點的匹配結果；

根據所述匹配結果以及所述慣性測量數據，確定無人車在當前幀與上一幀之間的預估位姿變化；

當所述預估位姿變化小于預設值時，確定當前幀的待解的狀態向量，根據基于先驗殘差項、視覺殘差項以及慣性傳感器殘差項確定的目標函數以及所述待解的狀態向量，確定所述待解的狀態向量的變化矩陣、待解系數矩陣以及待解殘差矩陣的矩陣關系式，其中，狀態向量包含環境點向量以及位姿向量，環境點向量包含各圖像特征點對應的環境點的坐標；

根據所述矩陣關系式，確定所述狀態向量的變化矩陣中的環境點向量的變化量求解式，對所述求解式進行展開，得到展開后的低階項和高階項，并根據將所述求解式展開后的低階項解算所述環境點向量的變化量；

根據所述矩陣關系式和解算得到的環境點向量的變化量，解算所述位姿向量的變化量；

根據解算得到所述環境點向量的變化量、所述位姿向量的變化量以及上一幀的狀態向量，確定當前幀的位姿，以供所述無人車確定控制策略。

可選地，確定當前幀待解的狀態向量，具體包括：