[發明專利]制圖與定位方法、裝置、存儲介質和終端設備

有效

• 申請號: 201810391851.1
• 申請日: 2018-04-27
• 公開（公告）號: CN108592919B
• 公開（公告）日: 2019-09-17
• 發明（設計）人: 劉浩敏;陳明裕;包英澤;范一舟
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G01C21/20
• 分類號: G01C21/20;G06T17/05;G06K9/00;G06K9/62
• 代理公司: 北京市鑄成律師事務所 11313
• 代理人: 張臻賢;王珺

本發明提出一種制圖與定位方法、裝置、存儲介質和終端設備，其中，所述方法包括：接收采集到的圖像幀，并將所述圖像幀加入圖像幀序列的尾端；控制本地集束調整的滑動窗口沿圖像幀序列向后移動一幀以移出首幀以及移入尾幀；其中，首幀是在移出首幀前滑動窗口中的最早幀；尾幀是圖像幀序列中未曾移入滑動窗口的最早幀；判斷首幀是否為關鍵幀；當首幀為關鍵幀時，生成全局集束調整的相對約束和作用于下一首幀的本地集束調整的先驗約束，并調整所述邊緣化處理的參考坐標系為移出的首幀，否則生成作用于下一首幀的本地集束調整的先驗約束，最后再進行全局集束調整以及本地集束調整。采用本發明，能夠避免邊緣化處理產生的先驗約束的誤差不斷累積。

技術領域

本發明涉及計算機技術領域，尤其涉及一種制圖與定位方法、裝置、存儲介質和終端設備。

背景技術

隨著倉儲、物流等配送服務的發展需求，機器人、無人車、無人機等移動機器人能夠協助或取代人類工作，有著廣泛的應用前景，是目前科學技術發展最為活躍的領域之一。

在移動機器人的應用中一個至關重要的環節是，實時定位機器人在實際工作場景中的方位，準確地獲取了機器人的方位信息，并基于獲取到的方位信息控制機器人的移動。目前主流的方案一般需要依靠激光雷達、差分GPS、高精度慣量系統等昂貴的硬件設備來獲取方位信息，成本高?；蛘撸孪仍诠ぷ鲌鼍爸胁渴鹦盘栐椿螂姶跑壍溃瑱C器人通過獲取信號源發送的信號或確定電磁軌道信息才能實現精確定位和導航，如此也會因信息源或電磁軌道的布置限制而限制了移動機器人的應用場景。

基于以上情況，定位與制圖(Simultaneous Localization and Mapping，SLAM)技術能通過低成本的相機、慣量測量單元(Inertial measurement unit，IMU)傳感器等硬件設備獲取信息，通過獲取的信息在未知環境中實現移動機器人的自身定位，從而突破上述方案在硬件成本、應用場景方面的局限。

但是，基于純視覺的SLAM和只靠IMU的定位方式各有優劣?；诩円曈X的V-SLAM(Visual SLAM，基于視覺的定位與制圖)精度較高，可以通過閉合循環回路消除累積誤差，但是其缺點在于嚴重依賴于場景特征，如果攝像頭只看到一面沒有紋理的白墻，那么V-SLAM將會失效，無法進行定位。此外單目攝像頭無法確定場景尺度，需要多目攝像頭來確定場景尺度。IMU提供加速度、角速度信息，可以通過積分得到真實尺度下的運動方位信息。然而，僅依賴IMU來定位，累積誤差較為嚴重，無法閉合循環回路。因而，只有將V-SLAM與IMU緊密融合，才能互相取長補短，同時滿足提升定位精度、閉合循環回路、獲得真實尺度、緩解特征依賴這些需求。V-SLAM與IMU緊密融合的SLAM算法稱為VI-SLAM(Visual-Inertial SLAM，基于視覺與慣量的定位與制圖)。

機器人在一場景內移動，并通過攝像機、慣量測量單元獲取圖像幀，圖像幀用于跟蹤場景中的地圖點以規劃場景地圖，每一圖像幀對應一相機的運動狀態。利用VI-SLAM算法跟蹤到的地圖點進行優化以及優化場景地圖。如圖1所示，對于第i幀圖像幀來說，其運動狀態Ci＝(Ti,Mi)，i＝1,2,…，其中，Ti＝[Ri|ti]為相機方位，Ri為旋轉矩陣、ti為平移向量，Mi＝(vi,bi)為慣量測量參數，vi為速度，bi為IMU讀數的漂移。對于每一幀圖像來說，都會受到視覺約束和IMU約束的限制，如圖1，方型塊為視覺約束，若不同幀圖像觀測到同一場景，則存在視覺約束；圓型塊為IMU約束，約束了相鄰幀圖像之間的相機方位和IMU運動參數；梯型塊為對第一幀圖像的先驗約束，用于確定全局坐標系，以及防止欠約束導致的病態優化問題。其中，圖1中的連續線表示約束。以此利用上述約束優化圖像幀觀察到的場景三維結構。

但是，發明人在實施前述方案時，發現隨著待優化變量運行參數Ci的數量隨時間的不斷增長，同時優化所有變量并不現實，采用了以下方法來進行簡化：