[發(fā)明專利]冗余關(guān)鍵幀剔除方法和SLAM方法及其系統(tǒng)和電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202010022951.4
• 申請(qǐng)日: 2020-01-09
• 公開(kāi)（公告）號(hào): CN113094545B
• 公開(kāi)（公告）日: 2023-05-16
• 發(fā)明（設(shè)計(jì)）人: 周刊;黃菊;周俊;王川川;蘭國(guó)清
• 申請(qǐng)（專利權(quán)）人: 舜宇光學(xué)（浙江）研究院有限公司
• 主分類號(hào): G06F16/71
• 分類號(hào): G06F16/71;G06F16/783
• 代理公司: 杭州華進(jìn)聯(lián)浙知識(shí)產(chǎn)權(quán)代理有限公司 33250
• 代理人: 賀才杰

一種冗余關(guān)鍵幀剔除方法和SLAM方法及其系統(tǒng)和電子設(shè)備。該冗余關(guān)鍵幀剔除方法包括步驟：響應(yīng)于全局優(yōu)化的運(yùn)行，通過(guò)檢視關(guān)鍵幀數(shù)據(jù)庫(kù)中關(guān)鍵幀上的觀測(cè)點(diǎn)和源點(diǎn)被該關(guān)鍵幀數(shù)據(jù)庫(kù)中同為共視關(guān)系的其他關(guān)鍵幀跟蹤到的情況，從該關(guān)鍵幀數(shù)據(jù)庫(kù)中篩選出候選的冗余關(guān)鍵幀；從該候選的冗余關(guān)鍵幀中剔除有效關(guān)鍵幀，以將該候選的冗余關(guān)鍵幀中剩余的關(guān)鍵幀作為確定的冗余關(guān)鍵幀，其中該有效關(guān)鍵幀是該候選的冗余關(guān)鍵幀中與滑窗中任一圖像幀具有有效視覺(jué)約束的關(guān)鍵幀；以及從該關(guān)鍵幀數(shù)據(jù)庫(kù)中刪除該確定的冗余關(guān)鍵幀，以更新該關(guān)鍵幀數(shù)據(jù)庫(kù)中的數(shù)據(jù)。

技術(shù)領(lǐng)域

本發(fā)明涉及SLAM技術(shù)領(lǐng)域，尤其是涉及冗余關(guān)鍵幀剔除方法和SLAM方法及其系統(tǒng)和電子設(shè)備。

背景技術(shù)

作為移動(dòng)機(jī)器人、虛擬現(xiàn)實(shí)以及增強(qiáng)現(xiàn)實(shí)等設(shè)備的定位與導(dǎo)航的核心技術(shù)，同時(shí)定位與三維建圖(英文：Simultaneous?Localization?and?Mapping，簡(jiǎn)稱SLAM)技術(shù)的算法框架日臻完善，逐步由理論研究轉(zhuǎn)向市場(chǎng)應(yīng)用。目前，基于視覺(jué)傳感器或視覺(jué)傳感器與慣性測(cè)量單元(IMU)耦合的SLAM算法框架通常包括：用于提取與跟蹤圖像特征的前端模塊，用于估計(jì)空間位置與自身位姿的后端優(yōu)化模塊，用于糾正偏移的回環(huán)檢測(cè)模塊以及用于建立三維地圖的模塊等等，其中該后端優(yōu)化模塊主要采用濾波優(yōu)化和非線性優(yōu)化兩類手段。直至今日，非線性優(yōu)化中代表性的集束優(yōu)化(Bundle?Adjustment)，位姿圖和因子圖算法占有明顯優(yōu)勢(shì)，已經(jīng)成為SLAM系統(tǒng)中后端優(yōu)化的主流應(yīng)用模塊。

目前，由于在基于非線性優(yōu)化的SLAM問(wèn)題求解中，狀態(tài)估計(jì)問(wèn)題被建模為最大后驗(yàn)概率問(wèn)題，也就是說(shuō)，在假設(shè)為高斯分布的情況下即為最小化損失函數(shù)的一個(gè)最小二乘計(jì)算問(wèn)題，并通過(guò)泰勒展開(kāi)轉(zhuǎn)化為增量迭代求解的問(wèn)題。因此為了限制隨著系統(tǒng)的運(yùn)行，狀態(tài)變量(即待優(yōu)化參數(shù))不斷增多，現(xiàn)有的SLAM方法通常使用滑動(dòng)窗口連續(xù)讀取有限容量的圖像幀進(jìn)行局部?jī)?yōu)化以減少計(jì)算量。與此同時(shí)，該現(xiàn)有的SLAM方法還采用構(gòu)建關(guān)鍵幀的方式(即通過(guò)選擇性地提升普通圖像幀作為關(guān)鍵幀儲(chǔ)存)，以執(zhí)行快速的回環(huán)檢測(cè)和全局優(yōu)化，從而反饋到滑窗內(nèi)普通幀的位姿優(yōu)化中來(lái)實(shí)現(xiàn)精度和速度的折中提升以及全局一致的狀態(tài)信息。

盡管在SLAM系統(tǒng)后端中通過(guò)構(gòu)建關(guān)鍵幀來(lái)跳過(guò)大量普通幀的信息以加速執(zhí)行非線性優(yōu)化，但隨著系統(tǒng)的運(yùn)行，通過(guò)傳感器獲取的普通圖像幀被不斷地提升為關(guān)鍵幀以累加地儲(chǔ)存至關(guān)鍵幀數(shù)據(jù)庫(kù)中，導(dǎo)致待優(yōu)化參數(shù)數(shù)量不斷增加，進(jìn)而會(huì)引起非線性優(yōu)化的速度降低、精度下降，甚至影響整個(gè)SLAM系統(tǒng)的定位精度和內(nèi)存占用。因而在SLAM系統(tǒng)的后端優(yōu)化過(guò)程中，需要采用冗余關(guān)鍵幀剔除的策略來(lái)維護(hù)一個(gè)合理體積的關(guān)鍵幀數(shù)據(jù)庫(kù)進(jìn)行全局優(yōu)化，以在實(shí)際應(yīng)用場(chǎng)景(如機(jī)器人導(dǎo)航或AR穿戴設(shè)備)中維持更長(zhǎng)時(shí)間的實(shí)時(shí)性，并提升魯棒性。現(xiàn)有的冗余關(guān)鍵幀剔除策略：一種是通過(guò)設(shè)定插入頻率和判斷跟蹤穩(wěn)定性來(lái)抉擇是否提升當(dāng)前圖像幀為關(guān)鍵幀，隨后在構(gòu)建局部地圖時(shí)，將幀內(nèi)至少90％的特征點(diǎn)能夠被其余共視關(guān)鍵幀重復(fù)觀測(cè)到的關(guān)鍵幀剔除掉；另一種是參照與前一幀的平均視差和追蹤到特征點(diǎn)的數(shù)量來(lái)決定是否將滑窗中的當(dāng)前圖像幀提取為關(guān)鍵幀，同時(shí)將根據(jù)分布密度進(jìn)行下采樣過(guò)程，使得位姿圖優(yōu)化的關(guān)鍵數(shù)據(jù)庫(kù)保持在有限的大小，丟棄較為集中的關(guān)鍵幀，防止閉環(huán)檢測(cè)和全局優(yōu)化耗時(shí)增長(zhǎng)。

然而，上述兩種現(xiàn)有的冗余關(guān)鍵幀剔除策略雖然降低了關(guān)鍵幀容器(即關(guān)鍵幀數(shù)據(jù)庫(kù))的體積，但較為隨機(jī)地的關(guān)鍵幀剔除方式也會(huì)舍棄掉關(guān)鍵幀中包含的且相當(dāng)多的信息和約束，造成SLAM系統(tǒng)的定位精度下降，無(wú)法滿足當(dāng)下增強(qiáng)現(xiàn)實(shí)和定位導(dǎo)航領(lǐng)域越來(lái)越高的定位精度要求。

發(fā)明內(nèi)容

本發(fā)明的一優(yōu)勢(shì)在于提供一冗余關(guān)鍵幀剔除方法和SLAM方法及其系統(tǒng)和電子設(shè)備，其能夠在選擇性地剔除掉包含有較多重復(fù)觀測(cè)信息的冗余關(guān)鍵幀的同時(shí)，還能夠保留具有有效視覺(jué)約束的關(guān)鍵幀，有助于在確保SLAM系統(tǒng)的實(shí)時(shí)性的同時(shí)，提升SLAM系統(tǒng)的定位精度。